В NiFi можно ли выборочно читать через процессор FetchS3Object?

Question

В Apache NiFi, используя FetchS3Object для чтения из ведра S3, я вижу, что он может считывать весь объект в ведро и по мере добавления. Возможно ли:

1. Чтобы настроить процессор на чтение только объектов, добавленных сейчас, а не уже существующих?
2. Как я могу заставить его прочитать определенную папку в ведре?

NiFi кажется отличным, просто отсутствуют примеры в их документации, по крайней мере, для популярных процессоров.

Answer 1

Комбинация процессоров ListS3 и FetchS3Object будет делать это:

1. ListS3 - пронумеровать S3 ведро и генерировать flowfiles ссылающегося каждый объект. Вы можете настроить свойство Prefix, чтобы указать конкретную папку в ведре, чтобы перечислять только подмножество. ListS3 отслеживает то, что он прочитал, используя функцию состояния NiFi, поэтому он будет генерировать новые файлы потоков, когда новые объекты будут добавлены в ведро.
2. FetchS3Object - читать объекты S3 в содержимом потока. Вы можете использовать вывод ListS3, сконфигурировав свойство Bucket на ${s3.bucket} и Объект Ключ до ${filename}.

Answer 2

Другой подход будет настроить S3 ведро для отправки уведомлений SNS, подписываться очереди SQS. NiFi будет считывать из очереди SQS, чтобы получать уведомления, фильтровать интересующие объекты и обрабатывать их.

Дополнительную информацию об этом подходе см. В разделе Monitoring An S3 Bucket in Apache NiFi.

Answer 3

Используйте GetSQS и fetchS3Object процессор и настройте ваш процессор GETSQS для прослушивания уведомления для вновь добавленного файла. Это подход, управляемый событиями, когда всякий раз, когда появляется новый файл, очередь SQS отправляет уведомление в nifi. Используйте нижеследующую ссылку для получения дополнительных разъяснений: AWS-NIFI integration