Я пытался извлечь файлы с удаленной машины в свои hdfs всякий раз, когда новый файл попал в определенную папку. Я натолкнулся на концепцию рулона катушки в лотке, и он отлично работал, если рулон катушки находится на той же машине, где работает флюид.Может ли катушка подавать в удаленную машину?
Есть ли какой-либо способ настройки пула spool в удаленной машине? Пожалуйста помоги.
Возможно, вы знаете, что в лотке могут появляться несколько экземпляров, то есть вы можете установить несколько экземпляров дымоходов, которые передают данные между ними.
Итак, чтобы ответить на ваш вопрос: нет, лоток не может получить доступ к каталогу удаленных спулингов. Но вы можете установить два агента: один на машине с каталогом спула и один на узле hadoop.
Первый будет считываться из катушки и передавать его через avro rpc второму агенту, который будет очищать данные до HDFS.
Это простая настройка, которая требует всего лишь нескольких строк конфигурации.
Спасибо, Эрик ... Это сработало. – jintocvg
Добро пожаловать :-) –