Как скоблить данные

Question

Я пытаюсь данными скоблить из этого URL: http://icecat.biz/en/p/Coby/DP102/desc.htm

Я хочу, чтобы скоблить, что спецификаций таблицы из этой ссылки.

Но я проверил исходный код URL, что таблица spec не отображается, потому что я думаю, что таблица загружается с использованием Ajax.

Как я могу получить эту таблицу. Что нужно сделать?

Я использовал следующий код:

string Strproducturl = "http://icecat.biz/en/p/Coby/DP102/desc.htm"; 
System.Net.ServicePointManager.Expect100Continue = false; 
HttpWebRequest httpWebRequest = (HttpWebRequest)WebRequest.Create(Strproducturl); 
httpWebRequest.KeepAlive = true; 
ASCIIEncoding encoding = new ASCIIEncoding(); 

HttpWebResponse httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse(); 
Stream responseStream = httpWebResponse.GetResponseStream(); 
StreamReader streamReader = new StreamReader(responseStream); 
string response = streamReader.ReadToEnd(); 

Answer 1

Я хотел бы предложить, что вы используете библиотеку как HtmlAgilityPack выбирать различные элементы из HTML документа.

Я быстро просмотрел ссылку и заметил, что данные фактически загружаются с использованием дополнительного запроса ajax. Вы можете использовать следующий URL-адрес, чтобы получить данные АЯКС

http://icecat.biz/index.cgi?ajax=productPage;product_id=1091664;language=en;request=feature

Использование HtmlAgilityPack для анализа этих данных.

Answer 2

Как упоминал IanNorton, вам нужно сделать свой запрос на URL-адрес, который Icecat использует для загрузки спецификаций с использованием AJAX. Для примера ссылки вы предоставили, детали данные URL вам нужно запрос будет:

http://icecat.biz/index.cgi?ajax=productPage;product_id=1091664;language=en;request=feature

Вы можете работать свой путь через ответ HTML, чтобы получить подробную информацию спецификации вам требуется.

Вы упомянули в своем комментарии, что процесс скребков автоматизирован. URL-адрес спецификаций находится в базовом формате, вам просто нужен идентификатор продукта. Однако, если у вас нет идентификаторов, всего несколько URL-адресов, например, пример в исходном вопросе, вам нужно будет получить идентификатор продукта из вашего URL-адреса.

Например, в примере URL вы дали перенаправляет на другой URL:

http://icecat.biz/p/coby/dp102/digital-photo-frames-0716829961025-dp-102-digital-photo-frame-1091664.html

Этот URL содержит идентификатор, в самом конце.

Вы могли бы сделать HttpWebRequest к исходному URL, остановитесь, прежде чем он делает редирект и поймать перенаправление URL:

HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://icecat.biz/en/p/Coby/DP102/desc.htm"); 
request.AllowAutoRedirect = false; 
request.KeepAlive = true; 

HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 

if(response.StatusCode == HttpStatusCode.Redirect){ 

    string redirectUrl = response.GetResponseHeader("Location"); 

} 

После того, как вы получили переменную redirectUrl, вы можете использовать Regex, чтобы получить идентификатор затем выполните еще один HttpWebRequest с подробным URL-адресом спецификации.

Answer 3

Я знаю, что это очень старое, но вы могли бы легко просто извлечь XML из

https://openIcecat-xml:freeaccess@data.icecat.biz/export/freexml.int/EN/1091664.xml

Вы также получите все изображения и описание, а также :-)