Какие поисковые системы имеют полнофункциональные API?

Question

Кажется, удивительно сложно запускать поисковые запросы программным путем через API против основных движков.

• У Google нет API-интерфейса общего назначения для его поиска, по-видимому и удивительно. У них есть «пользовательская поисковая система», которая предназначена для добавления окна поиска на Google для данного сайта и для возврата результатов только из нескольких доменов. Их signup page требует входа сайтов для поиска. Я попробовал ввести «.google.com/» и некоторые варианты здесь, но это не дает мне таких же результатов (в частности, никаких хитов, когда веб-поиск дает мне результаты) на некоторых неясных терминах, которые мне волнуют.
• Bing search имеет API, но API не сообщает общее количество обращений, в отличие от их результатов в Интернете. Получение общего количества результатов является требованием для моего приложения.
• DuckDuckGo имеет API, но, похоже, он не запрашивает ту же базу данных, что и веб-поиск.
• Blekko имеет API, но это ограничение скорости на 1 запрос/секунду. Я не пробовал спрашивать, какова структура их ценообразования.
• Я не пробовал Yahoo.

Обратите внимание, что я счастлив и готов заплатить за это, но все же я не могу найти услугу. Любая помощь приветствуется.

Answer 1

После дополнительных исследований и экспериментов, я могу сказать, что:

• Yahoo Boss Search API работает лучше. Для общего поиска в Интернете они взимают $ 0,80/1000 звонков с первого звонка. API возвращает JSON, включая общее количество результатов. Кажется, что он имеет такое же покрытие, что и веб-сайт, и его достаточно просто использовать, но им нужны запросы, подписанные с OAuth (не требуется токена, просто подпись); есть пример кода Ruby, который сделал трюк и может быть адаптирован для использования драгоценного камня OAuth. Каждый запрос ограничен макс. 50 и поставляется с флагами разбиения на страницы, чтобы получить больше результатов с отдельными запросами (каждый из которых получает счет).
• API пользовательского поиска Google, как только вы пройдете экран настройки (просто заполните google.com на сайтах для поиска), установите параметр панели мониторинга, чтобы разрешить «общий» веб-поиск и пользовательские сайты. API также возвращает JSON, требуется только ключ API в запросе (без токена или подписи) и возвращает 10 результатов max, а также общее количество результатов. Стоимость 5 $ за 5000 вызовов API, после 100 бесплатных звонков. Возможно, наиболее разочаровывающе, API пользовательского поиска использует другую базу данных и не возвращает те же результаты в Интернете; многие запросы, которые получают хиты в Интернете, выглядят пустым в API.
• Bing API на самом деле не стоит того. Я думаю, что Yahoo использует Bing на бэкэнд, но интерфейс Yahoo проще в использовании и более совершенен, а документы лучше. Документы API Bing являются загружаемыми документами Word (!!!), хотя их поисковое предложение теперь является частью облака Azure. Их навигация по сайту является самой неясной.

Update: Грег Линдаль на Blekko ответил использовать лично и пригласил нас на встречу. Они были очень полезны в обмене некоторыми из своих данных, а также дали нам ключ API. Это еще один хороший вариант, особенно для наборов данных специальности, как и необходимость в нашем случае.

Answer 2

API blekko свободен до 1 запроса в секунду. В зависимости от того, что вы делаете, вы можете обнаружить, что мы позволяем вам делать то, что вы не можете сделать в другом месте.См. http://help.blekko.com/index.php/advanced-search-features/ для некоторых деталей. Обратитесь к apiauth@blekko.com за ключом API и документацией.