Удаление html-тегов из строки в R

Question

Я пытаюсь прочитать источник веб-страницы в R и обрабатывать его как строки. Я пытаюсь извлечь абзацы и удалить теги html из текста абзаца. Я бегу в следующей задаче:

Я попытался реализовать функцию, чтобы удалить HTML-теги:

cleanFun=function(fullStr) 
{ 
#find location of tags and citations 
tagLoc=cbind(str_locate_all(fullStr,"<")[[1]][,2],str_locate_all(fullStr,">")[[1]][,1]); 

#create storage for tag strings 
tagStrings=list() 

#extract and store tag strings 
for(i in 1:dim(tagLoc)[1]) 
{ 
    tagStrings[i]=substr(fullStr,tagLoc[i,1],tagLoc[i,2]); 
} 

#remove tag strings from paragraph 
newStr=fullStr 
for(i in 1:length(tagStrings)) 
{ 
    newStr=str_replace_all(newStr,tagStrings[[i]][1],"") 
} 
return(newStr) 
}; 

Это работает для некоторых тегов, но не все теги, пример, когда это не удается в следующей строке:

test="junk junk<a href=\"/wiki/abstraction_(mathematics)\" title=\"abstraction (mathematics)\"> junk junk" 

цель будет получать:

cleanFun(test)="junk junk junk junk" 

Однако эта лань Кажется, он работает. Я думал, что это может быть связано с длиной строки или escape-символами, но я не мог найти решение, связанное с ними.

Answer 1

Это может быть достигнуто лишь с помощью регулярных выражений и Grep семей:

cleanFun <- function(htmlString) { 
    return(gsub("<.*?>", "", htmlString)) 
} 

Это также будет работать с несколькими HTML-тегами в одной строке!

Answer 2

Во-первых, ваша строка темы вводит в заблуждение; в строке, которую вы разместили, нет обратных косых черт. Вы стали жертвой одного из классических промахов: не так плохо, как участвовать в наземной войне в Азии, но все равно. Вы ошибаетесь в использовании R \ для обозначения экранированных символов для буквальной обратной косой черты. В этом случае \" означает знак двойной кавычки, а не два буквальных символа \ и ". Вы можете использовать cat, чтобы увидеть, что на самом деле будет выглядеть строка, если бы экранированные символы обрабатывались буквально.

Во-вторых, вы используете регулярные выражения для синтаксического анализа HTML. (Они не отображаются в вашем коде, но они используются под капотом в str_locate_all и str_replace_all.) Это еще один из классических промахов; см. here для дополнительной экспозиции.

В-третьих, вы должны упомянуть в своем посте, что используете пакет stringr, но это лишь незначительная ошибка при сравнении.

Answer 3

Подход с использованием пакета qdap:

library(qdap) 
bracketX(test, "angle") 

## > bracketX(test, "angle") 
## [1] "junk junk junk junk" 

Answer 4

Это может быть проще с суб или GSUB?

> test <- "junk junk<a href=\"/wiki/abstraction_(mathematics)\" title=\"abstraction (mathematics)\"> junk junk" 
> gsub(pattern = "<.*>", replacement = "", x = test) 
[1] "junk junk junk junk" 

Answer 5

Лучше всего не анализировать html, используя регулярные выражения. RegEx match open tags except XHTML self-contained tags

Используйте упаковку, как XML. Измените код html в синтаксическом анализе, используя, например, htmlParse, и используйте xpaths, чтобы найти количество, относящееся к вам.

UPDATE:

Чтобы ответить на вопрос, что ОП в

require(XML) 
xData <- htmlParse('yourfile.html') 
xpathSApply(xData, 'appropriate xpath', xmlValue) 

Answer 6

Другой подход, использующий tm.plugin.webmining, который использует XML внутренне.

> library(tm.plugin.webmining) 
> extractHTMLStrip("junk junk<a href=\"/wiki/abstraction_(mathematics)\" title=\"abstraction (mathematics)\"> junk junk") 
[1] "junk junk junk junk" 

Answer 7

Вы также можете сделать это с помощью двух функций в rvest пакете:

library(rvest) 

strip_html <- function(s) { 
    html_text(read_html(s)) 
} 

Note that you should not use regexes to parse HTML.