Ссылка Уборка урожая в Scrapy

Question

Я оба поражены и очень расстроены Scrapy. Кажется, что слишком много энергии под капотом, что делает его действительно крутой кривой обучения. По-видимому, Scrapy может делать все, что я использовал для программирования самостоятельно, но проблема заключается в том, как заставить его делать то, что я хочу.

На данный момент я пишу простой комбайн. Я хочу экспортировать два файла: один с внутренними ссылками и текстом ссылки, а другой с внешней ссылкой и текстом ссылки.

Я пытаюсь использовать команду -o file.csv, но он объединяет каждый URL-адрес страницы в одну ячейку в виде списка и включает в себя дубликаты.

Альтернатива, которую я имею, это просто написать мой собственный код в «синтаксическом разборе» и вручную создать список ссылок и проверить, существуют ли они в списке перед их добавлением, а затем вручную разобрать URL-адрес, чтобы увидеть если домен во внутреннем или внешнем.

Кажется, что Scrapy следует делать с помощью нескольких команд. Есть ли встроенный метод для этого?

Вот код, с которым я работаю. Я прокомментировал часть заголовка bc. Думаю, мне нужно создать другой объект для них. На данный момент я отказался от этой части.

def parse_items(self, response): 
    item = WebconnectItem() 
    sel = Selector(response) 
    items = [] 
# item["title"] = sel.xpath('//title/text()').extract() 
# item["current_url"] = response.url 
    item["link_url"] = sel.xpath('//a/@href').extract() 
    item["link_text"] = sel.xpath('//a/text()').extract() 
    items.append(item) 
    return items 

Answer 1

реализации с использованием запросов & BS4
примечание это не является оптимальным решением, но оно показывает, как это можно сделать с помощью запросов и BS4.
установка goto для меня.

import requests 
from bs4 import BeautifulSoup 
URL = "http://www.cnn.com/" 

# get request 
r = requests.get(URL) 
# turn into bs instance 
soup = BeautifulSoup(r.text) 
# get all links 
links = soup.findAll('a') 

internal_unique = [] 
external_unique = [] 
internal_links = [] 
external_links = [] 

for link in links: 
    if 'ccn.com' in link['href'] or link['href'].startswith('/'): 
     if link['href'] not in internal_unique: 
      internal_links.append({'link':link['href'],'text':link.get_text()}) 
      internal_unique.append(link['href']) 
    else: 
     if link['href'] not in external_unique: 
      external_links.append({'link':link['href'],'text':link.get_text()}) 
      external_unique.append(link['href']) 
print internal_links 
print external_links 

Answer 2

Scrapy имеет extensive documentation и the tutorial хорошее введение.

Он построен на вершине Twisted, поэтому вам нужно думать в терминах асинхронных запросов и ответов, что сильно отличается от того, что вы обычно делаете с python-запросами и BS4. python-запросы блокируют ваш поток при выдаче HTTP-запросов. Scrapy этого не делает, он позволяет обрабатывать ответы, в то время как другие запросы могут быть связаны с проводом.

Вы можете использовать BS4 в ответных обратных вызовах (например, в вашем методе parse_items).

Вы правы, что Scrapy выдаст 1 вывод в строке на выходе. Он не будет делать дедубликации URL-адресов, потому что элементы - это всего лишь предметы для Scrapy. В вашем случае они содержат URL-адреса. Scrapy не выполняет дедупликацию предметов на основе того, что они содержат. Вы должны были бы поручить это сделать (с item pipeline, например)

Как для URL-адресов, представленных в виде списка в ваших link_url и link_text полей, это потому, что sel.xpath('//a/@href').extract()returns lists

Scrapy 1,0 (скоро будет выпущен) добавляет метод .extract_first(), который поможет в вашем случае.

Answer 3

Значит, ваши мысли о scrapy в значительной степени точны. Очень мощная, крутая кривая обучения, но имеет много обещаний, если вы сможете пройти мимо этой части. Есть даже несколько дополнительных услуг на вершине, таких как ScrapingHub, которые могут позаботиться о ротации IP-адресов, сохранении заданий и т. Д.

Разница заключается в том, что scrapy работает с использованием конвейеров элементов, а не традиционной модели. У них отличный код для решения именно того, что у вас есть. Любая обработка результатов должна выполняться в этих конвейерах элементов, а не в самом скребке. Документы являются here, и это пример трубопровод для удаления дубликатов и записи в формат JSON:

class DuplicatesPipeline(object): 

    def __init__(self): 
     self.ids_seen = set() 

    def process_item(self, item, spider): 
     if item['id'] in self.ids_seen: 
      raise DropItem("Duplicate item found: %s" % item) 
     else: 
      self.ids_seen.add(item['id']) 
      return item 

class JsonWriterPipeline(object): 

    def __init__(self): 
     self.file = open('items.jl', 'wb') 

    def process_item(self, item, spider): 
     line = json.dumps(dict(item)) + "\n" 
     self.file.write(line) 
     return item