Загрузка данных на HDFS Периодически

Question

Я работаю над проектом, я буду накапливать данные в реальном времени. Я хочу периодически загружать эти данные с моего локального компьютера на HDFS. Здесь частота будет каждые пару часов.

Мысли, на мой взгляд, предназначены для планирования пакетного файла, который будет запускаться через 2 часа.

Answer 1

У вас есть несколько вариантов:

• Использование хрон.
• Если вы хотите, чтобы это было более сложным, вы можете использовать Apache Oozie для планирования ваших заданий.
• Если вы хотите, чтобы это выполнялось распределенным, надежным и отказоустойчивым способом, вы можете использовать Apache Flume. С Flume вы можете даже собирать данные непосредственно из источника, написав собственный источник потока для своего источника данных, не предварительно скомпилировав данные в локальную FS, а затем переместите их в HDFS.