Перенаправление на мобильную страницу при очистке в R

Question

Я тестировал веб-царапины в R в течение нескольких недель для одного и того же сайта и не имел проблем с мобильным сайтом. Сегодня утром, после очень легкого соскабливания (всего 2 хита веб-страницы), мой третий хит теперь перенаправляется на мобильную версию страницы. Когда я просматриваю тот же самый URL-адрес в Internet Explorer 11 на одном и том же IP-адресе, я прямо на весь сайт, а не на мобильный сайт.

Другой вопрос на StackOverflow был задан аналогичным образом, и ответ был, что агент пользователя, скорее всего, виновником в R. Я сделал свой R сессии имитировать мой сеанс Internet Explorer именно с помощью следующего кода:

options(HTTPUserAgent="Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko") 

Это, к сожалению, не исправляло проблему. У кого-нибудь есть другие догадки о том, как я могу снова просмотреть полный сайт?

Answer 1

После дополнительных исследований выяснилось, что библиотеки XML и/или xml2 не передают параметр HTTPUserAgent при отправке информации заголовка на веб-сайт. Используя RCURL-пакет, я смог использовать getURLContent() вместо read_html(), чтобы перейти к правильному сайту, потому что getURLContent() позволяет вам указать HTTPUserAgent.

Веб-сайт, с которым я работаю, должен был сегодня изменить правила отправки неопознанных пользователей на мобильную версию своего сайта.