Моя проблема начинается, когда я пытаюсь выполнить сканирование магазина приложений, скажем, google play. для каждого приложения есть много комментариев, и я хочу их ползать. , но раздел комментариев в google генерируется скриптом java. вот ссылка, например: https://play.google.com/store/apps/details?id=com.gameloft.android.ANMP.GloftAMHM В этой связи вы можете увидеть, что для создания дополнительных комментариев необходимо нажать кнопку несколько раз. (после 5-6 щелчков aprox) страница генерирует больше комментариев, выполняя javascript.Есть ли простой и быстрый способ генерации JavaScript?
Сначала я решил эту проблему с помощью веб-драйвера (firefox) и смоделировал реального человека, нажав на кнопку, и он генерирует комментарии, и он продолжает нажимать до тех пор, пока не будут созданы все комментарии.
Проблема с этим: 1, требуется слишком много времени. 2, иногда после нескольких щелчков мыши и генерации JS веб-браузер не отвечает.
Что мне нужно - это способ генерировать все комментарии для каждого приложения лучше и быстрее. возможно, это какая-то техника, или что-то еще, что улучшило бы мое решение,
Im using spider, который я создал в scrapy.
Все виды помощи будут оценены
Если вы ссылаетесь на play.google.com/robots.txt -> Disallow:/apps, его просто проверить эту возможность в приложении. Я пытаюсь разработать эту функцию прямо сейчас, независимо от robots.txt (так что прямо сейчас я не адресую это). – Eran