недвижимости привязаны к экземпляру задачи в сельдерее

Question

Скажем, у меня есть:

• список из 3-х пар (логин, пароль) и я намерен создать один urllib2 нож для каждой пары
• одна задача в сельдерея
• параллелизм = 3

Я хочу, чтобы связать каждый нож к экземпляру Task (так что каждая задача имеет свой собственный нож, то есть. с различным AUTH печеньем).

Что я в настоящее время сделать это подкласс от задачи:

class TaskWithOpener(Task): 
     abstract = True 
     _openers = None 

     @property 
     def openers(self): 
      if self._openers is None: 
       print 'creating openers for', self 
       (...) 
      print 'openers already created for ', self, ' just returning them' 
      return self._openers 

и сделать задачу так:

@my_celery.task(rate_limit='5/m', base=TaskWithOpener) 
    def my_task(): 
     opener = random.choice(my_task.openers) 

Но этот путь каждая задача имеет список из нескольких замкам, и они создаются для каждого потока отдельно, когда есть 3 пары учетных данных (логин, пароль) и параллелизм = 3, моя программа создает 9 открывающих устройств, что неприемлемо.

Answer 1

Это совершенно правильное поведение сельдерея. Вы в основном создали класс, который для каждого экземпляра создает три открывателя и трижды создавал его.

Что вы пытаетесь сделать, это породит три задачи, каждый со своим собственным набором полномочий:

@celery.task(rate_limit='5/m') 
def the_task(login, password): 
    opener = create_opener(login, password) 
    … 

Тогда вы можете назвать это нравится:

credentials = [ 
    ('login1', 'password1'), 
    ('login2', 'password2'), 
    ('login3', 'password3'), 
] 

for login, password in credentials: 
    the_task.delay(login, password) 

Таким образом, работник получит три задания и применит к ним лимит ставок.

Update:

Вашего комментария и код, который я подозреваю, что вы хотите сделать опционы атрибут класса.

Проблема заключается в переписывании атрибута self, который делает его атрибутом экземпляра.

Я думаю, вы пытаетесь создать class property.

Честно говоря, я не думаю, что это хорошее решение. Я хотел бы знать, почему вы не хотите создавать нож каждый раз.

Стоит ли дорого? Тогда то, что вы ищете, - это не очередь задач + рабочий, а некоторый сервер работает постоянно (может быть реализован через twisted).