Недоступный сайт доступа с использованием метода webclient ..?

Question

Я делаю приложение для желтого стола на рабочем столе. Я могу получить доступ ко всем странам желтого сайта, но не к австралийскому сайту. Я не знаю почему?

Вот код

class Program 
{ 
    static void Main(string[] args) 
    { 
     WebClient wb = new WebClient(); 
     wb.Headers.Add("user-agent", "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US)"); 
     string html = wb.DownloadString("http://www.yellowpages.com.au"); 
     Console.WriteLine(html); 
    } 
} 

Для всех других сайтов я получаю HTML веб-сайта для австралийскому сайта я получаю пустой. Я даже попробовал httpwebrequest.

Вот Yellowpage австралиец сайт: http://www.yellowpages.com.au

Заранее спасибо

Answer 1

Похоже, что сайт будет только отправить через данные в формате gzip. Попробуйте переключиться на HttpWebRequest и с помощью автоматической декомпрессии:

var request = (HttpWebRequest)WebRequest.Create("http://www.yellowpages.com.au"); 
request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.0.3705;)"; 
request.Headers.Add(HttpRequestHeader.AcceptEncoding, "gzip,deflate"); 
request.AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate; 

Answer 2

При просмотре передачи с этого сайта в Wireshark, он говорит, что это сформированный пакет HTTP. В нем говорится, что он использует chunked transfer, а затем говорит, что следующий фрагмент имеет 0 байт, а затем отправляет код веб-сайта. Вот почему возвращает пустую строку (не null). И я думаю, что это правильное поведение.

Кажется, браузеры игнорируют эту ошибку, и поэтому они могут отображать страницу правильно.

EDIT:

Как bkaid отметил, сервер, кажется, для обработки отправить правильный ответ, являющийся файл. Следующий код работает для меня:

WebClient wb = new WebClient(); 
wb.Headers.Add("Accept-Encoding", "gzip"); 
string html; 
using (var webStream = wb.OpenRead("http://www.yellowpages.com.au")) 
using (var gzipStream = new GZipStream(webStream, CompressionMode.Decompress)) 
using (var streamReader = new StreamReader(gzipStream)) 
    html = streamReader.ReadToEnd(); 

Answer 3

В дополнение к @ bkaid правильно (и upvoted) ответ, вы можете использовать свой собственный класс, унаследованный от WebClient распаковывать/ручка сжатия сжимал HTML:

public class GZipWebClient : WebClient 
{ 
    protected override WebRequest GetWebRequest(Uri address) 
    { 
     HttpWebRequest request = (HttpWebRequest)base.GetWebRequest(address); 
     request.AutomaticDecompression = DecompressionMethods.GZip | 
             DecompressionMethods.Deflate; 
     return request; 
    } 
} 

Сделав это, следующие работы прекрасны:

WebClient wb = new GZipWebClient(); 
string html = wb.DownloadString("http://www.yellowpages.com.au");