Запуск Scrapy с точки зрения Django

Question

Мой опыт работы с Scrapy ограничен, и каждый раз, когда я его использую, он всегда проходит через команды терминала. Как я могу получить свои данные формы (url, который нужно очистить) от моего шаблона django, чтобы связаться со scrapy, чтобы начать делать соскабливание? До сих пор я думал только о том, чтобы получить возвращаемые данные формы из представлений django, а затем попытаться добраться до spider.py в каталоге scrapy, чтобы добавить URL-адрес данных формы в start_urls паука. Оттуда я действительно не знаю, как вызвать фактический обход, поскольку я привык делать это строго через мой терминал с командами вроде «scrapy crawl dmoz». Благодарю.

крошечное правление: только что обнаруженный скрапид ... Я думаю, что с этим я могу идти в правильном направлении.

Answer 1

Вы на самом деле отреагировали на него с помощью редактирования. Лучшим вариантом было бы установить scrapyd service и сделать вызов API schedule.json, чтобы запустить задание на скремблирование.

Чтобы сделать этот API HTTP вызов, вы можете использовать либо urllib2/requests или использовать обертку вокруг scrapyd API - python-scrapyd-api:

from scrapyd_api import ScrapydAPI 

scrapyd = ScrapydAPI('http://localhost:6800') 
scrapyd.schedule('project_name', 'spider_name') 

---

Если отложить в сторону scrapyd и попытаться run the spider from the view, это будет заблокировать запрос до тех пор, пока скрученный реактор не остановится - поэтому на самом деле это не вариант.

Вы можете, однако, начать использовать celery (в тандеме с django_celery) - определить задачу, которая запустит ваш паук Scrapy и вызовет задачу из вашего представления django. Таким образом, вы бы поставили задачу в очередь и не хотели, чтобы пользователь ожидал завершения сканирования.

---

Кроме того, обратите внимание на django-dynamic-scraper пакет:

Джанго Dynamic скребок (DDS) представляет собой приложение для Django построить на вершине выскабливание каркаса Scrapy. Сохраняя многие функции Scrapy, вы можете динамически создавать и управлять пауками через интерфейс администратора Django .