Python Crawling - запросы быстрее

Question

Мне нужно сделать Веб-сканирование запросов и довести ответы до конца и быстро, если это возможно.

Я исхожу из языка Java. Я использовал две «рамки» и не полностью удовлетворил свои намерения.

Jsoup имел запрос/ответ быстрые, но носил неполные данные, когда страница была много информации. Apache HttpClient был точно противоположным, надежным данным, но очень медленным.

Я просмотрел некоторые модули Python, и я тестирую Scrapy. В моих поисках я не смог сделать вывод, является ли это самым быстрым и приводит данные последовательно, или есть некоторые другие, более сложные, даже более подробные или сложные.

Во-вторых, Python является хорошим языком для этой цели?

Заранее спасибо.

Answer 1

+1 голосов за Scrapy. В течение последних нескольких недель я писал гусеницы массовых автомобильных форумов, и Scrapy абсолютно невероятна, быстра и надежна.

Answer 2

ищет что-то, чтобы «делать запросы и доводить ответы до конца и быстро» не имеет смысла.

A. Любая библиотека HTTP даст вам полные заголовки/теги, на которые отвечает сервер.

B. Как «быстрый» веб-запрос происходит, как правило, определяется вашим сетевым соединением и временем ответа сервера, а не клиентом, который вы используете.

поэтому с этими требованиями, все будет сделано.

проверить requests упаковка. Это отличная клиентская клиентская библиотека для Python.