Кто-нибудь знает, как AppShopper.com сканирует данные в магазине приложений Apple? Нужно ли нам моделировать браузер, используя автоматическое тестирование, такое как Watir? Это единственный способ сбора данных (например, статистика загрузки, цена)?Данные об обходах в магазине приложений
Если вы щелкните правой кнопкой мыши по любой ссылке или значку в iTunes, он предоставит вам URL-адрес, который он использует для загрузки данных, которые он отображает для этой следующей страницы iTunes. Формат данных HTML изменяется в недокументированных формах. Если вы используете wget или curl для загрузки данных с этих URL-адресов, вам также может понадобиться имитировать пользовательский агент iTunes и имя национального магазина, которое вы можете получить, отслеживая трафик iTunes с помощью чего-то вроде проводной акулы.
Есть сотни услуг, как тот, который вы упоминаете ... но строить свой собственный скребок не сложно ..
Допустим, вы хотите увидеть для приложения с идентификатором все отзывы в Великобритании = XXXXXXXXX (щелкните правой кнопкой мыши на iTunes по ссылке приложения и выберите «Копировать ссылку»). Вы должны получить файл:
Если поместить этот URL в вашем браузере, вы не сможете увидеть такое же количество информации, которую вы бы увидеть с Itunes. Возможно также, что вы ничего не видите, и ваш браузер попросит открыть iTunes. Тем не менее, вышеприведенный URL-адрес тот же, что и в iTunes, только iTunes запрашивает его несколько иначе, как это делает веб-браузер. Для этого вы можете использовать cURL, команду по умолчанию для большинства дистрибутивов GNU/Linux, но вы также можете установить ее в Windows.
Если вы на Windows, и не установлен локон, загрузите его (http://curl.haxx.se/download.html), распаковать его и добавить каталог бен переменной PATH (http://www.computerhope.com/issues/ch000549.htm);
Открыть окно терминала (META + R, цифра CMD);
После того, как вы установили локон, как на Windows, и * Никс, вырезать и вставить в вашем терминале:
локон -H 'Ведущий: itunes.apple.com' -H «Accept-Language: en-us, en; q = 0.50 '-H' X-Apple-Store-Front: 143444,5 '-H' X-Apple-Tz: 3600 '-U' iTunes/9.2.1 (Macintosh; Intel Mac OS X 10.5.8) AppleWebKit/533.16 '' http://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews?s=143444&id=xxxxxxxxx&displayable-kind=11 '
Вы должны увидеть фактический файл XML, который видит iTunes, со всеми отзывами.
Сканирование не самый лучший метод. Существует partner feed program, в который абсолютно бесплатно присоединиться. может предоставить вам требуемые данные. Прочитайте FAQ
+1 Это интересно! –
Если бы это было интересно, вы можете выбрать его как ответ :) –
Это * интересный ответ, но, к сожалению, не * ответ *, поскольку он доступен только по прямым переговорам с Apple – John
Как можно найти другие URL-адреса, поддерживаемые iTunes? – Dmitry