python-rq worker автоматически закрывается

Question

Я реализую python-rq для передачи доменов в очередь и очищаю его с помощью Beautiful Soup. Поэтому я запускаю нескольких сотрудников, чтобы выполнить работу. На данный момент я начал работать 22 рабочих, и все 22 работника зарегистрированы на приборной панели rq. Но через какое-то время рабочий останавливается сам по себе и не отображается на приборной панели. Но в webmin он отображает всех работающих как работающих. Скорость обхода также снизилась, т. Е. Рабочие не работают. Я попытался запустить работника с помощью супервизора и nohup. В обоих случаях рабочие останавливаются сами по себе.

В чем причина этого? Почему рабочие останавливаются сами по себе? И сколько рабочих мы можем запустить на одном сервере?

Наряду с этим, всякий раз, когда работник незарегистрирован с панели управления rq, счетчик сбоев увеличивается. Я не понимаю, почему?

Пожалуйста, помогите мне с этим. Спасибо

Answer 1

Хорошо, я понял, что проблема. Это было из-за рабочего таймаута.

try: 
    --my code goes here-- 
except Exception, ex: 
    self.error += 1 
    with open("error.txt", "a") as myfile: 
    myfile.write('\n%s' % sys.exc_info()[0] + "{}".format(self.url)) 
    pass 

Так, по моему коду, следующий домен, если 200 из очереди URL (s) извлекается из каждого домена. Но для некоторых доменов было недостаточно количества URL-адресов для завершения условия (например, только 1 или 2 URL-адреса).

Поскольку код ловит все исключения и добавляет файл error.txt. Даже исключение тайм-аута rq rq.timeouts.JobTimeoutException было поймано и добавлено к файлу. Таким образом, рабочий должен ждать x времени, что приводит к прекращению работника.