Железный рабочий и scrapy

Question

Я пытаюсь создать iron.io работника, используя scrapy.

Согласно iron.io, мы должны поместить все зависимости для кода в самом рабочем.

Я создал папку под названием module, которая будет иметь все сторонние модули и установленную процедуру через pip.

pip install scrapy -t module/ 

При попытке запуска Scrapy через python module/scrapy/__init__.py Я получаю

Traceback (most recent call last): 
    File "module/scrapy/__init__.py", line 10, in <module> 
    __version__ = pkgutil.get_data(__package__, 'VERSION').decode('ascii').strip() 
    File "/usr/lib/python2.7/pkgutil.py", line 578, in get_data 
    loader = get_loader(package) 
    File "/usr/lib/python2.7/pkgutil.py", line 464, in get_loader 
    return find_loader(fullname) 
    File "/usr/lib/python2.7/pkgutil.py", line 474, in find_loader 
    for importer in iter_importers(fullname): 
    File "/usr/lib/python2.7/pkgutil.py", line 424, in iter_importers 
    if fullname.startswith('.'): 
AttributeError: 'NoneType' object has no attribute 'startswith' 

Answer 1

Вы, вероятно, будет лучше использовать Scrapy из кода металлист, а не вызывать его из командной строки, так же, как это имеет на первой странице http://scrapy.org/ или в учебнике: http://doc.scrapy.org/en/0.24/intro/tutorial.html

Чтобы использовать это в IronWorker, после того, как вы выполнили настройку pip, обязательно добавьте:

в файл .worker. Затем в вашем рабочем сценарии вы импортируете его:

import scrapy 

Затем используйте его, как указано в приведенной выше ссылке.

Answer 2

Если вы не имеете Scrapy исполняемым доступны, вы можете запустить через Scrapycmdline:

python module/scrapy/cmdline.py 

Вы можете также бег Scrapy из сценарий. Here is a very detailed answer.