Python Scrapy - Run Паук

Question

Запуск python27 на машине Windows, ... Попытка использовать Scrapy

после основной Scrapy учебник @http://doc.scrapy.org/en/latest/intro/overview.html

Я создал следующий паук и сохранил его как test2 @ C : \ python27 \ Scrapy

import scrapy 


class StackOverflowSpider(scrapy.Spider): 
name = 'stackoverflow' 
start_urls = ['http://stackoverflow.com/questions?sort=votes'] 

def parse(self, response): 
    for href in response.css('.question-summary h3 a::attr(href)'): 
     full_url = response.urljoin(href.extract()) 
     yield scrapy.Request(full_url, callback=self.parse_question) 

def parse_question(self, response): 
    yield { 
     'title': response.css('h1 a::text').extract_first(), 
     'votes': response.css('.question .vote-count-post::text').extract_first(), 
     'body': response.css('.question .post-text').extract_first(), 
     'tags': response.css('.question .post-tag::text').extract(), 
     'link': response.url, 
    } 

следующий шаг говорит мне, чтобы запустить паука с помощью scrapy runspider stackoverflow_spider.py -o top-stackoverflow-questions.json

Но я не знаю, где запустить эту строку кода.

Я использую для запуска печати или хранилища команду csv в конце моего файла python для получения результатов.

Уверенный, что это непростая задача, но я не понимаю. Спасибо заранее.

Answer 1

Вам нужно будет выполнить команду runpider в любой утилите командной строки, которую вы используете, например. Cygwin, cmd и т. Д.

Эта команда уничтожит файл с именем top-stackoverflow-questions.json в каталоге, в котором вы запускаете команду.