Запросить Запросы Программно

Question

Я занимаюсь исследовательским проектом, и для этого мне нужно получить результаты почти для 1,5 миллионов запросов.

Может ли кто-нибудь предложить, как я могу его достичь? Если это помогает, мне нужны результаты только с определенного сайта.

Я видел, что все поисковые системы предоставляют API, но я не думаю, что у кого-то есть свободный лимит, который мог бы обрабатывать миллионы запросов.

Любое предложение будет оценено

Answer 1

Вы можете сканировать веб-сайт и использовать свой собственный поисковик, чтобы запросить его. Вы можете использовать Apache Lucene, например, в качестве библиотеки с открытым исходным кодом, которая обеспечивает функциональность «поисковой системы». Вам нужно будет создать документ для каждой страницы и подать его в IndexWriter, а затем запросить свой индекс.

Альтернативой является использование API paid, предоставляемого поисковыми системами, что позволяет значительно увеличить количество запросов.