Здравствуйте, я пытаюсь создать простого бота, который извлекает содержимое веб-страниц. Я очень хорошо знаю этот процесс. Моя конечная цель - иметь приложение, которое может получать информацию о пищевых продуктах, просматривая их в Интернете. Этот простой код, который у меня есть, просто должен перейти на веб-страницу и распечатать исходный код для этой страницы, но я все время перенаправляюсь, потому что «строка пользовательского агента представляется из автоматического процесса». Ну, конечно, это из автоматизированного процесса ... Я что-то упустил? Как я могу форматировать строку user-agent, чтобы быть приемлемой в Интернете? Или мне нужно подойти к этому совершенно по-другому? Вы должны быть особенными, чтобы иметь веб-браузер сейчас?user-agent string для url bot
try
{
HttpClient client = new HttpClient();
client.MaxResponseContentBufferSize = 25600;
HttpResponseMessage response = await client.GetAsync("http://www.contoso.com/");
response.EnsureSuccessStatusCode();
string responseBody = await response.Content.ReadAsStringAsync();
Console.WriteLine(responsebody);
}
catch (HttpRequestException e)
{
Console.WriteLine("\nException Caught!");
Console.WriteLine("Message :{0} ", e.Message);
}