Есть ли какой-нибудь скрипт для ссылки, если мне нужно рекурсивно отображать файлы, упорядоченные по размеру файла в папке HDFS?рекурсивно перечислять файлы, упорядоченные по размеру файла в папке HDFS
спасибо заранее, Лин
bin/hdfs dfs -ls -R/| sort -r -n -k 5
Хотя @kostya дал отличный ответ, используя немного AWK может помочь изменить выход для улучшения последующего процесса
hdfs dfs -ls -R ${hdfspath} 2> ${hdfsname}.err \
|awk "{ printf \"%s:%s:%s:%s:%s\n\",\$5,\$6,\$3,\$1,\$8; }" \
|sort -rn > hdfs-${hdfsname}.du
работает для меня, спасибо Костик. –