Тип ответа HTTP-ответа, отличный от HEAD-запроса

Question

Я написал простой код для получения content-type данного URL-адреса. Для того, чтобы сделать обработку быстрее, я сделал изменения, чтобы установить метод запроса, как HEAD

// Added a random puppy face picture here 
// On entering this query in browser (or Poster<mozilla> or Postman<chrome>), the 
// content type is shown as image/jpeg 

URL url = new URL("http://www.bubblews.com/assets/images/news/521013543_1385596410.jpg");  

HttpURLConnection connection = (HttpURLConnection) url 
     .openConnection(); 
connection.setRequestMethod("HEAD"); 
connection.connect(); 
String contentType = connection.getContentType(); 
System.out.println(contentType); 
if (!contentType.contains("text/html")) { 
    System.out.println("NOT TEXT/HTML"); 
    // Do something 
} 

Я пытаюсь добиться чего-то, если это не text/html, но когда я установил метод запроса, как HEAD, содержание типа отображается как text/html. Если я запускаю тот же запрос HEAD, используя Poster или Postman, я вижу content-type как image/jpeg.

Так что же это делает изменение типа контента в случае этого Java-кода ?. Может ли кто-нибудь указать любую ошибку, которую я, возможно, сделал?

Примечание: Я использовал this пост в качестве ссылки

Answer 1

Вы, вероятно, следует добавить Accept заголовок и/или User-Agent заголовка.

Большинство веб-серверов предоставляют различное содержимое в зависимости от заголовков, установленных клиентом (например, веб-браузер, Java HttpURLConnection, curl, ...). Это особенно справедливо для Accept, Accept-Encoding, Accept-Language, User-Agent, Cookie и Referer.

В качестве примера веб-сервер может отказаться предоставить изображение, если заголовок Referer не ссылается на внутреннюю страницу. В вашем случае веб-сервер не доставляет изображения, если кажется, что какой-то робот сканирует его. Поэтому, если вы подделываете свой запрос, как будто он поступает из веб-браузера, сервер может его доставить.

При обходе веб-сайтов вы должны уважать robots.txt (потому что вы действуете как робот). Поэтому, строго говоря, вы должны быть осторожны при подделке User-Agent, когда делаете много запросов или создаете большой бизнес из этого. Я не знаю, как большие веб-сайты реагируют на такое поведение, особенно когда кто-то обходит там бизнес ...

Пожалуйста, не рассматривайте это как высказывание. Я просто хотел указать на это, чтобы вы не столкнулись с проблемами. Возможно, это не проблема, YMMV.