Pretty Print Output with Scrapy Shell

Я пытаюсь использовать оболочку Scrapy для изучения веб-страниц, прежде чем писать обход. Одна вещь, которую я считаю очень трудной для чтения вывода Scrappy shell. Есть ли способ сделать вывод довольно печатным?Pretty Print Output with Scrapy Shell

Например, запуск оболочки с помощью команды

scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python

затем выдает команду с оболочкой:

response.css("ul.directory.dir-col > li > a::attr('href')")

Вы можете увидеть выход все работают в Интернете, трудно читать. Является ли оболочка Scrapy выходным форматом JSON? Как сделать его доступным для чтения?

источник

2015-10-30 hanaZ

Вы можете вставить свой вывод оболочки? чего вы ожидаете? '.css()' выведет 'SelectorList', который может быть немного неясным, но вы можете использовать' .extract() 'в списке селекторов и получать фактические данные –

, возможно, с ipython (' pip install ipython') – eLRuLL

с '.extract()', результат выглядит лучше (все URL-адреса все еще находятся в одной строке, но более читабельны, чем список селекторов. – hanaZ

В качестве альтернативы вы можете использовать firefox с расширением firebug, чтобы найти правильные xpaths в исходном коде, а затем переформатировать и попробовать его в оболочке scrapy.

источник

2015-10-30 14:43:06 fmp

Pretty Print Output with Scrapy Shell

ответ

Смежные вопросы