2010-11-01 8 views
11

Я написал простой скрипт для анализа журналов XML-чата с помощью модуля BeautifulSoup. Стандартный soup.prettify() работает нормально, кроме журналов чата, в них много пуха. Вы можете увидеть, как код сценария и некоторые из входного XML-файла я работаю ниже:Python BeautifulSoup XML Parsing

Код

import sys 
from BeautifulSoup import BeautifulSoup as Soup 

def parseLog(file): 
    file = sys.argv[1] 
    handler = open(file).read() 
    soup = Soup(handler) 
    print soup.prettify() 

if __name__ == "__main__": 
    parseLog(sys.argv[1]) 

Test XML Input

<?xml version="1.0"?> 
<?xml-stylesheet type='text/xsl' href='MessageLog.xsl'?> 
<Log FirstSessionID="1" LastSessionID="2"><Message Date="10/31/2010" Time="3:43:48 PM"  DateTime="2010-10-31T20:43:48.937Z" SessionID="1"><From><User FriendlyName="Jon"/></From> <To><User FriendlyName="Bill"/></To><Text Style="font-family:Segoe UI; color:#000000; ">hey, what's up?</Text></Message> 
<Message Date="10/31/2010" Time="3:44:03 PM" DateTime="2010-10-15T20:44:03.421Z" SessionID="1"><From><User FriendlyName="Jon"/></From><To><User FriendlyName="Bill"/></To><Text Style="font-family:Segoe UI; color:#000000; ">Got your message</Text></Message> 
<Message Date="10/31/2010" Time="3:44:31 PM" DateTime="2010-10-15T20:44:31.390Z" SessionID="2"><From><User FriendlyName="Bill"/></From><To><User FriendlyName="Jon"/></To><Text Style="font-family:Segoe UI; color:#000000; ">oh, great</Text></Message> 
<Message Date="10/31/2010" Time="3:44:59 PM" DateTime="2010-10-15T20:44:59.281Z" SessionID="2"><From><User FriendlyName="Bill"/></From><To><User FriendlyName="Jon"/></To><Text Style="font-family:Segoe UI; color:#000000; ">hey, i gotta run</Text></Message> 

Я желая иметь возможность выводить это в формат, похожий на следующий или, по крайней мере, более читаемый, чем чистый XML:

Jon: Эй, что случилось? [10/31/10 @ 3: 43P]

Jon: Получил Ваше сообщение [10/31/10 @ 3: 44P]

Билл: О, великий [10/31/10 @ 3 : 44p]

и т. Д. Я слышал некоторые приличные вещи о модуле PyParsing, возможно, пришло время дать ему шанс.

+1

Почему бы не XSLT? Это было бы самым простым. (На самом деле: я вижу, что есть директива? Xml-stylesheet - как выглядит таблица стилей по умолчанию?) –

+0

Возможно, у меня не всегда есть таблица стилей XSL, поэтому нужно что-то форматировать в том, чтобы что-то более читаемое , Если я могу использовать ту же таблицу стилей, что и у меня, это может также работать. –

ответ

24

BeautifulSoup делает получение атрибутов и значений в xml очень простым. Я использовал вашу функцию для использования этих функций.

import sys 
from BeautifulSoup import BeautifulSoup as Soup 

def parseLog(file): 
    file = sys.argv[1] 
    handler = open(file).read() 
    soup = Soup(handler) 
    for message in soup.findAll('message'): 
     msg_attrs = dict(message.attrs) 
     f_user = message.find('from').user 
     f_user_dict = dict(f_user.attrs) 
     print "%s: %s [%s @ %s]" % (f_user_dict[u'friendlyname'], 
            message.find('text').decodeContents(), 
            msg_attrs[u'date'], 
            msg_attrs[u'time']) 


if __name__ == "__main__": 
    parseLog(sys.argv[1]) 
+1

Это прекрасно работает. Что именно содержится в словаре от f_user_dict = dict (f_user.attrs) Я предполагаю атрибуты, мне придется играть с этим предметом и точно видеть, что там есть. Еще раз спасибо! –

+0

Yup для всех элементов, el.attrs будет содержать список кортежей атрибутов тэгов xml. Вызов dict на любой кортеж сделает его в словаре. – dcolish

+1

О, просто хочу уточнить, вызывая dict в списке кортежей, вернет словарь, а не один кортеж: dict ([('hello', 'goodbye'), ('foo', 'bar')]) – dcolish

6

Я бы рекомендовал использовать встроенный модуль ElementTree. BeautifulSoup предназначен для обработки неработающего кода, такого как взломанный HTML, тогда как XML хорошо сформирован и предназначен для чтения библиотекой XML.

Обновление: некоторые из моих недавних чтений здесь предлагают lxml в качестве библиотеки, основанной на стандартном ElementTree.

+6

Я использую Beautiful Soup для синтаксического анализа XML. Из документов: «Beautiful Soup - это библиотека Python для вытаскивания данных из HTML и XML-файлов». Beautiful Soup будет использовать тот парсер, о котором вы говорите, включая lxml. (см. http://www.crummy.com/software/BeautifulSoup/bs4/doc/#installing-a-parser) – lfalin

+0

И в последнее время я видел множество строк, порожденных искаженным XML. – whatnick