Как установить пользовательский агент с парсером Jericho

Question

Я играл с html-парсером Jericho, но я не могу найти информацию или, скорее, пример того, как установить или изменить пользовательский агент. Я нашел класс Config, но не знаю, как его использовать, может ли кто-нибудь еще дать мне пример, пожалуйста?

Мне удалось проанализировать веб-сайт, как я хочу, но я не уверен, добавляет ли парсер Иерихона пользовательский агент. Как вы знаете, я хочу, чтобы надлежащий агент пользователя запретил сайту запрещать мне доступ к его контенту.

спасибо.

Answer 1

В дополнение к моему комментарию выше, убедитесь, что вы всегда obey robots.txt. Кроме того, код, который вы хотите, должен выглядеть примерно так.

 

import java.net.URL; 
import java.net.URLConnection; 
import java.util.List; 

import net.htmlparser.jericho.Element; 
import net.htmlparser.jericho.Source; 

public class HtmlFun { 

    public static void main(String[] args) throws Exception { 
     URL url = new URL("http://www.google.com"); 
     URLConnection conn = url.openConnection(); 
     conn.setConnectTimeout(1000); 
     conn.setReadTimeout(1000); 
     conn.setRequestProperty("User-Agent", "Mozilla"); 

     Source source = new Source(conn); 
     List elems = source.getAllElements(); 
     for(Element elem : elems) { 
     System.out.println(elem); 
     } 
    } 
} 
 

Не удается запустить его с работы из-за проблем с брандмауэром, но я думаю, что это должно сработать для вас. Если нет, что-то подобное сделает трюк.