2012-05-07 3 views
1

Этот вопрос исходит от нетехнического человека. Я попросил команду создать своего рода RSS-ридер. По сути, это агрегатор новостей. Сначала мы имели в виду исходные новости напрямую из конкретных источников: ft.com, reuters.com и bloomberg.com.Captchas on RSS Reader?

Теперь команда разработчиков предложила определенный способ сделать это (потому что это будет проще) ... чтобы использовать news.google.com и возвращать все, что является результатом. Теперь я знаю, что это вызывает сомнительную законность, и мы не очень довольны этим фактом, но в то время как юридический отдел проверяет это. Мы продолжили работу с прототипом.

Теперь возникает техническая проблема ... потому что метод фактически имитировал поиск через news.google.com, после некоторого периода времени он возвращает captcha. Я подозрительно, потому что метод был ПОИСК С РЕЗУЛЬТАТАМИ ПОКАЗЫВАЕТ КАК RSS в отличие от прямого RSS ... однако команда разработчиков говорит, что RSS - это точно то же самое ... и что это даст captcha как Что ж.

У меня есть сомнения. Если это так, как другие сайты агрегаторов новостей сделали свою компиляцию фидов из разных источников?

Для справки, здесь же в URL, который в конечном счете дает капчу https://news.google.com/news/feeds?hl=en&gl=sg&as_qdr=a&authuser=0&q=dbs+bank+singapore&bav=on.2,or.r_gc.r_pw.r_cp.,cf.osb&biw=1280&bih=963&um=1&ie=UTF-8&output=rss

ответ

2

«Поиск», как правило, за капчи, потому что это очень ресурсоемкие, поэтому они делают все возможное, чтобы предотвратить боты от поиска. Обычная RSS-лента противоположна ресурсоемкой. Подводя итог: обычные RSS-каналы, вероятно, не вызовут CAPTCHA.

1

Поскольку Google объявила о своем Новом API, устаревшем с 26 мая 2011 года, возможно, используя NewsCred, как предложено в этой группе сообщение http://productforums.google.com/forum/#!topic/news/RBRH8pihQJI может быть вариантом для вашего коммерческого использования.