Heavy CPU Usage by scraw crawler

Question

У меня несколько пауков, работающих в нескольких экземплярах (4) параллельно. Все они используют почти 100% -ный процессор.

Я развернул их, используя scrapyd. Попытался изменить настройки scrapyd, такие как max_concurrent_requests, CONCURRENT_REQUESTS, CONCURRENT_REQUESTS_PER_DOMAIN, до минимума, но не повезло.

Я использую Python 2.7.5 и Scrapy 0,24

Я гугле для решения и нашел эту страницу

https://groups.google.com/forum/#!topic/scrapy-users/Rgq07ldcoPs

Я не мог получить их решения

Заранее спасибо

Answer 1

Исправлено. Проблема была с частым обновлением Mysql, что в конечном итоге привело к загрузке процессора. Введена небольшая задержка в конвейере, чтобы уменьшить нагрузку, которая фиксировала всю проблему.