Пользовательский поиск Google на всей сети и ограничения (gizoogle)

Question

Я работаю над поисковой системой, которая должна иметь доступ к результатам из Google. Вот мои варианты:

• Использование пользовательского поиска API
• Использование прокси-сервера, чтобы мой сервер посылать запросы и возвращать данные

Я не уверен, что о некоторых вещах, хотя:

Ограничен ли пользовательский API поиска? Мне может потребоваться действительно большое количество запросов, поэтому, если использование ограничено, это будет проблемой.

«Разрешено ли использовать прокси-сервер в узле, который отправляет поисковые запросы в Google и перехватывает результат для показа моим пользователям? Если я это сделаю, не буду ли я сталкиваться с некоторыми ограничениями?

Вдохновением здесь является gizoogle, которому удалось подключиться к API Google (они имеют те же результаты, что и Google), но при этом не используют пользовательский поиск (пользовательские поисковые объявления добавляются, и на этом сайте их нет). Поэтому я предполагаю, что у них есть какой-то прокси-сервер, но почему google позволяет им запускать эти запросы?

Редактировать: Оказывается, что пользовательский API поиска также ограничен. Итак, как сделал gizoogle?

Answer 1

Ok вот как я решил эту проблему:

Оказывается, что Google имеет потерянный API (вероятно, устаревшее так знать об этом) для клиентской стороны поиска АЯКС. Похоже, что:

http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=test&rsz=large

Просто зайдите на that url, чтобы посмотреть, какие результаты он дает.

Так в основном здесь процесс:

• Пользователь вводит поисковый
• Он отправляется на сервер в AJAX
• Сервер может изменить поиск в зависимости от вашего приложения (фильтрация запрещенных слов или что угодно)
• Ваш сервер опроса веб-службы ajax из Google - не забудьте добавить параметр getuserIp, который необходим, чтобы избежать ограничений (Google ограничивает входящие запросы от каждого пользователя, поэтому ваш сервер должен сказать Google, что она делает запрос от имени этого userIp
• Вы отправить обратно результаты клиенту, а затем с помощью JavaScript для отображения их

Единственным недостатком является то, что поиск должен быть сделан в ajax, что означает, что страница пуста при загрузке и заполняется позже. Но вы действительно можете использовать параметры get в URL, чтобы предварительно загрузить поиск и заполнить страницу, прежде чем отправлять ее клиенту.

Answer 2

У Google Custom Search (GCS) есть free mode and a paid ("enterprise") mode.

Оба режима регулируются условиями обслуживания (Custom Search Terms of Service) - убедитесь, что вы внимательно прочитали.

Из чего я понимаю, вы можете использовать бесплатный режим и искать столько, сколько захотите. Поскольку google возвращает результаты, они также возвращают объявления, поэтому они получают такую ​​оплату.

Платный режим дает вам доступ к API и позволяет вам отключать рекламу и делать другие вещи. Но it comes at a cost.

Я расчесывал документацию и термины и т. П. - это не лучшие усилия Google. Но если вы используете его точно так, как они описывают, это действительно стандартно.

Answer 3

В зависимости от размера и средств проекта доступен, но вы могли бы получить GSA http://www.google.com/enterprise/search/products/gsa.html

webite Доктор Оз использует это, чтобы индексировать и тянуть в результатах от партнерских сайтов, вы бы иметь возможность включить Google результатов, а , Высокая настраиваемость с помощью ранжирования исходного источника, параметры фильтрации для пользовательского вывода.