Tika - получение основного содержимого из документов

Question

Утилита GUI Apache Tika предоставляет возможность получения основного контента (кроме текста форматирования и структурированного текста) данного документа или URL-адреса. Я просто хочу знать, какой метод отвечает за извлечение основного содержимого документа/url. Чтобы я мог включить этот метод в свою программу. Также, используют ли они какой-либо эвристический алгоритм при извлечении данных из HTML-страниц. Потому что иногда в извлеченном контенте я не могу видеть рекламу.

UPDATE: я узнал, что BoilerPipeContentHandler отвечает за него.

Answer 1

Функция «основного контента» в графическом интерфейсе Tika реализована с использованием класса BoilerpipeContentHandler, который полагается на boilerpipe library для тяжелого подъема.

Answer 2

Я полагаю, что это питание от BodyContentHandler, которое извлекает только содержимое HTML-документа в теле документа. Это может быть дополнительно объединено с другими обработчиками, чтобы вернуть только обычный текст тела, если это необходимо.

Answer 3

public String[] tika_autoParser() { 
    String[] result = new String[3]; 
    try { 
     InputStream input = new FileInputStream(new File(path)); 
     ContentHandler textHandler = new BodyContentHandler(); 
     Metadata metadata = new Metadata(); 
     AutoDetectParser parser = new AutoDetectParser(); 
     ParseContext context = new ParseContext(); 
     parser.parse(input, textHandler, metadata, context); 
     result[0] = "Title: " + metadata.get(metadata.TITLE); 
     result[1] = "Body: " + textHandler.toString(); 
    } catch (FileNotFoundException e) { 
     e.printStackTrace(); 
    } catch (IOException e) { 
     e.printStackTrace(); 
    } catch (SAXException e) { 
     e.printStackTrace(); 
    } catch (TikaException e) { 
     e.printStackTrace(); 
    } 

    return result; 
}