Доступ к метакритическому API и/или скребунию

Question

Кто-нибудь знает, где документация для Metacritic api/если она все еще работает. Раньше был Metacritic API на https://market.mashape.com/byroredux/metacritic-v2#get-user-details, который исчез сегодня.

В противном случае я пытаюсь очистить сайт самостоятельно, но сохраняя блокировку на 429 Slow down. Я получил данные как 3 раза в этот час и не смог получить больше за последние 20 минут, что затрудняет тестирование и приложение, возможно, бесполезное. Пожалуйста, дайте мне знать, есть ли что-нибудь еще, что я могу сделать, чтобы скрыть, о котором я не знаю.

Answer 1

я должен был добавить пользовательский агент, как сказал JCDJulian и теперь она позволяет мне царапать. Итак, для Ruby:

agent = Mechanize.new 
agent.user_agent_alias = "Mac Firefox" 

Тогда он прекратил давать мне 403 Запретную ошибку.

Answer 2

Я использовал этот API также для приложения, которое я написал некоторое время назад. Похоже, что создатель удалил его из Mashape. Я только что отправил ему электронное письмо, чтобы узнать, будет ли он работать. Я нашел this scraper онлайн. У этого есть только несколько конечных точек, но следуя приведенным примерам, вы можете легко добавить больше. Дайте мне знать, если вы достигнете прогресса!

Редактировать: Похоже, CBS попросил его снести. ToS запрещает выскабливание:

[...] Вы соглашаетесь не делать следующее, или помочь другим сделать следующее: Участие в несанкционированных пауках, «очищая» интеллектуальный анализ данных или сбор контента, или использовать любые другие несанкционированные автоматизированные средства для сбора данных из Сервисов или о них;

Answer 3

Хотя я надеялся на способ Javascript этого, создатель API также рассказал мне некоторую информацию.

Он говорит, что я заблокирован за отсутствие агента пользователя в заголовке и должен использовать процедуру обработки 429, то есть повторный запрос с более длинными паузами между ними.

PHP-плагин доступен также: http://datalinx.io/shop/metacritic-api/