Скремблирование Json Данные из REST Api

Question

Я изучаю Firebase с Android, и мне нужна база данных для игры. Это адрес запроса Json: https://yts.ag/api/v2/list_movies.json. Он содержит около 5000 фильмов, которые мне нужны. Поэтому я искал в Интернете, и я нашел инструмент под названием Scrapy. Но я понятия не имею, как использовать его в API для отдыха. Любые справку

Answer 1

Сначала вам нужно следовать Scrapy Tutorial создать проект Scrapy, и тогда ваш паук может быть столь же простым, как это:

class MySpider(Spider): 
    name = 'myspider' 

    start_urls = ['https://yts.ag/api/v2/list_movies.json'] 

    def parse(self, response): 
     json_response = json.loads(response.body) 
     for movie in json_response['data']['movies']: 
      yield Request(movie['url'], callback=self.parse_movie) 

    def parse_movie(self, response): 
     # work with every movie response 
     yield {'url': response.url} 

Answer 2

Очень легко. Следуйте за the tutorial и начинайте с URL-адреса конечной точки REST. На вашей функции parse() или parse_item() используйте json.loads(response.body) для загрузки документа JSON. Поскольку Scrapy теперь может глотать dicts, ваш код может быть столь же просто, как

import json 
... 

def parse(self, response): 
    return json.loads(response.body) 

Here «s немного более продвинутый вариант использования.