Oozie не очистки старых рабочих мест из базы данных Oozie

Question

I имеют следующие свойства, установленные в моем oozie-site.xml (Использование отдушину в Cloudera менеджера)

oozie.services.ext - org.apache.oozie.service.PurgeService 
oozie.service.PurgeService.older.than - 15 
oozie.service.PurgeService.coord.older.than - 7 
oozie.service.PurgeService.bundle.older.than - 7 
oozie.service.PurgeService.purge.interval - 60 

Однако, я все еще вижу некоторые старые рабочие места, которые были убиты или завершенными старо, как сентябрь 2014

к примеру,

у меня есть координатор, который в настоящее время находится в состоянии выполнения. Когда я использую веб-консоль Oozie, чтобы перечислить экземпляры этого координатора, т.е. нажмите вкладку «Координатор» и нажмите «Мой координатор», и во всплывающем окне я увижу самую старую работу над всеми материализованными рабочими задачами (действия координатора) сентября 2014 г.

Я предполагаю, что свойство отвечает за очистку это до является oozie.service.PurgeService.older.than который я поставил в дней.

Так что же мне здесь не хватает?

Answer 1

Проблема заключается в длительной работе координатора с высокой частотой. все дочерние рабочие процессы никогда не очищаются, так как работа по координации все еще выполняется.

Решение является (цитирую по внешней ссылке),

Что вы можете сделать, как обходной путь, дробится ваши длительные координаторам. Например, вместо того, чтобы ваш координатор работал на лет? навсегда ?, заставьте, скажем, 6 месяцев. И иметь идентичный координатор , который планируется начать точно, когда он закончится. Это позволит Оози очистить старый рабочий поток от этого координатора каждые 6 месяцев. В противном случае вы можете запланировать задание cron до вручную удалить старые задания из базы данных. Однако, пожалуйста, обратите внимание на то, чтобы . При удалении задания рабочего процесса из таблицы WF_JOBS вам также необходимо удалить действия рабочего процесса из таблицы WF_ACTIONS 10, принадлежащих ей, а также действия координатора из таблицы WF_ACTIONS, к которой она принадлежит. Если вы пропустите что-то, , это, вероятно, вызовет проблемы.

Ссылки:

• https://community.cloudera.com/t5/Batch-Processing-and-Workflow/Oozie-not-cleaning-up-old-jobs-from-Oozie-database/m-p/30692#U30692
• https://groups.google.com/a/cloudera.org/forum/#!topic/cdh-user/zkWa2kDMyyo
• http://qnalist.com/questions/5404909/oozie-purging

JIRA Ссылка:

https://issues.apache.org/jira/browse/OOZIE-1532