проблема реализации в каскадном при чтении данных из HDFS

Question

Предположим, что у меня есть эти файлы в каталоге hdfs

500/Customer/part-001 
500/Customer/part-002 
500/Customer/part-003 

Может быть можно проверить, из которого часть файла кортеж приходит?

Примечание: Я исследовал, но ничего не получил.

Answer 1

Ваш вопрос не очень ясен. Предположим, что ваш выход находится в следующем макете, а разделитель равен ';'

идентификатор, имя, возраст

1; Джордан, 22

2, Натан, 33

и так далее

Вы можете использовать AWK или Grep или оба, чтобы получить запись

например, если вы хотите найти запись Nathan, попробуйте файл file

Команда grep -r "Nathan" *

команда будет искать строку «Nathan», и если строка присутствует в любом файле детали, тогда первая запись (слово) на выходе будет именем файла ,

, если вы не хотите, чтобы имя файла можно использовать

Grep -hr часть «Натан» *

Пожалуйста понятнее при допросе.

Answer 2

У меня есть ответ, как получить, из какого файла кортежа файла детали идет. Я решил проблему, используя код ниже.

String fileName = flowProcess.getProperty("cascading.source.path").toString(); 

Спасибо,