HTTPWebREquest - возвращает ошибку WebException- (404) не найден

Question

У меня есть программа для обхода, которая извлекает URL-адреса для анализа html и натолкнулась на необычную ошибку, так как я начал это. Для определенного набора URL-адресов с сайта при выборке с использованием HTTPWebRequest и HttpWebResponse я получаю ошибку

**> Удаленный сервер возвратил ошибку:

(404) Not Found**

Это необычно, так как он работает при вставке его в мой браузер. Любые идеи оценили. Не уверен, нужен ли код для публикации, но дайте мне знать, если это так.

Answer 1

Сайт может блокировать ваш пользовательский агент или может потребоваться куки.

Answer 2

Возможно, удаленный сервер обслуживает разные страницы в зависимости от User-Agent и что у него нет страницы, которая соответствует значению User-Agent, предоставленному экземпляром HttpWebRequest (по умолчанию пустой)? Просто мысль, поскольку вы говорите, что страница может быть найдена при навигации по ее адресу с браузером, но не через код.