Python: Scrape Имена игр

Question

У меня возникли проблемы Скремблирование имен игр с веб-страницы .. Он возвращает пустой массив. Как только имя очищено, я хочу, чтобы оно было записано во вновь созданный текстовый файл. Мой код должен быть ниже .. его нигде рядом полным, но я уверен, я буду нуждаться условием While ..

def ScrapeK10(): 
siteToScrape = 'http://www.kiz10.com/new-games' 
print '\n[!] Requesting Kiz10..' 
kizReq = requests.get(siteToScrape) 
print '\n[!] Scraping Newest Games...' 
kizTree - html.fromstring(kizReq.content) 
kizElement = kizTree.xpath('//strong[@class="bx-caption"]/text()') 
print 'Latest Games : ', kizElement, '\n' 
return 

проблемы IM нарваться является получением им пустого массива, так я не уверен, если им на самом деле выскабливания сайта правильно или даже правильно использовать xpath?

Еще немного новичок в этом .. не хотите использовать Beautiful Soup и я не хочу использовать Scapy ..

но моя цель, чтобы очистить все игры имена в веб-страницы, я дал, и записать их к новому файлу.

Answer 1

Можете ли вы использовать регулярное выражение? Обратите внимание, что все имена игр содержатся в объекте JavaScript с именем «itemsGame».

Используйте regex, чтобы отфильтровать это, затем снова используйте regex для разделения каждой строки.

Это должно сделать это

def main(): 
    import re 
    import requests 
    url = "http://kiz10.com/index.php?page=newgames" 
    raw = requests.get(url).content 
    match = re.search("var itemsGame = \[(.*?)\];$", raw, re.M) 
    for line in re.findall('\[(.*?)\]', match.group(1)): 
     print(line.replace("'", "").split(",")[3].strip()) 

В качестве альтернативы вы можете просто вызвать Eval() на строку из вар itemsGame = к следующему \ п характер.

Очевидно, что eval всегда опасен и никогда не рекомендуется