httpwebrequest с страницами «бесконечной прокрутки»?

Question

Некоторые веб-сайты (например, Facebook) загружают определенную часть страницы, пока вы не прокрутите страницу вниз, а затем загрузите больше данных. Есть ли способ, используя HTTPWebRequest, чтобы вы могли получить все (или более) данные, чем обычно показывалось бы без прокрутки вниз?

Если я что-то вроде:

HttpWebRequest r = (HttpWebRequest)WebRequest.Create("www.facebook.com"); 
HttpWebResponse resp = (HttpWebResponse)r.GetResponse(); 

реакция будет показывать только ограниченные данные, которые появляются, если вы посещали сайт и не прокручивать вниз на всех.

Надеюсь, это имеет смысл, я, вероятно, мог бы сформулировать это лучше.

Как я могу получить больше данных из запроса?

Answer 1

WebRequest не поможет вам здесь. Такие сайты зависят от взаимодействия пользователя (например, прокрутки), чтобы решить получить больше данных.

Вы можете использовать управление WebBrowser и фактически взаимодействовать с веб-сайтом. Речь идет об единственном способе, если нет API для явного получения данных.

---

Считайте, что вы хотите использовать HttpWebRequest. Этот класс отправит запрос на веб-сервер и получит ответ.

Вопрос, который вам нужно задать, «какой запрос отправляется на веб-сервер, чтобы страница использовала бесконечную прокрутку»? Ответ: «is нет запроса, который отправляется, чтобы заставить бесконечную прокрутку». Это факт, что вы прокрутили до нижней части, что делает следующую страницу.