Поддерживает ли приоритет экспортера? Если да, то как?

Question

Поддерживая приоритет, я имею в виду, когда вы выталкиваете элемент из конвейера, он возвращает элемент с наивысшим приоритетом.

Answer 1

Возможно, вы можете настроить его самостоятельно.

pipelines.py

class PriorityPipeline(object): 
    def __init__(self): 
     self.ids_seen = set() 
    def process_item(self, item, spider): 
     if item['id'] in self.ids_seen: 
      raise DropItem("Duplicate item found: %s" % item) 
     else: 
      self.ids_seen.add(item['id']) 
      return item 

settings.py

ITEM_PIPELINES = [ 
    'soufun.pipelines.PriorityPipeline', 
]