Скопировать данные из бесконечной прокрутки с помощью scrapy

Я новичок в python и scrapy.Скопировать данные из бесконечной прокрутки с помощью scrapy

Я хочу отменить данные с веб-сайта.

Веб-сайт использует AJAX для прокрутки.

Адрес запроса на получение - ниже.

http://www.justdial.com/functions/ajxsearch.php?national_search=0&act=pagination&city=Mumbai&search=Chemical+Dealers&where=&catid=944&psearch=&prid=&page=2&SID=&mntypgrp=0&toknbkt=&bookDate=

Пожалуйста, помогите мне, как я могу использовать Scrapy или любые другие питона библиотеки

Благодарности.

источник

2016-08-30 JT28

Похоже, этот запрос AJAX ожидает правильного заголовка Referer, который является всего лишь URL-адресом текущей страницы. Вы можете просто установить заголовок при создании запроса:

def parse(self, response): 
    # e.g. http://www.justdial.com/Mumbai/Dentists/ct-385543 
    my_headers = {'Referer': response.url} 
    yield Request("ajax_request_url", 
        headers=my_headers, 
        callback=self.parse_ajax) 

def parse_ajax(self, response): 
    # results should be here

источник

2016-08-30 07:54:53 Granitosaurus

Спасибо за ваш answer.I будет стараться, и пусть вы знаете – JT28

я попробовал код, а также попытаться данными лома, но получают только я, но первые 10 записей хотите отказаться от данных со всех страниц. – JT28

@ JT28 вам просто нужно увеличить параметр URL страницы. т. е. эту часть url '& page = 2' для других страниц, пока вы не получите никаких результатов, вероятно, это означает, что вы прошли последнюю страницу. – Granitosaurus

Скопировать данные из бесконечной прокрутки с помощью scrapy

ответ

Смежные вопросы