ресурс для веб-соскабливания/обхода

Question

Мне нужно создать файл базы данных/csv, содержащий 150 000 предложений (естественный разговор человека/думаю /), связанный с определенным ключевым словом. Например, «iphone 5».

Я пытаюсь использовать Google для поиска ключевого слова и получения результата, выполните некоторые сканирование через Интернет, но это не сработает.

Если вы могли бы дать мне лучший совет, любое бесплатное программное обеспечение, ресурс, где я могу получить хороший результат.

Благодаря

Answer 1

Вы не можете скоблить результаты поиска Google. (Ну, на самом деле, Google не поощряет это.) Попробуйте Google CSE для этого.

Есть некоторые рамки/сайты, которые облегчат очистку.

http://scraperwiki.com

http://scrapy.org

EDIT: 12/08/16

Scraperwiki теперь https://quickcode.io/

Answer 2

для запрошенной задачи я хотел бы предложить строить динамическую базу данных, которая содержит социальной информации от нескольких социальных сайтов (форумов, статей и т. д.).

вы можете создать свой собственный небольшой веб crawller и конфиг его, чтобы очистить только необходимое содержание или вы можете использовать wget или curl, а также (те свободные искатели).

Теперь вы можете заполнить свой дБ социальным контентом, а затем найти его по ключевым словам и найти соответствующие социальные сообщения, которые вам нужны.