1
Мы используем S3Distcp для копирования файлов с S3 в HDFS с использованием файла манифеста - то есть мы используем аргумент -copyFromManifest в команде S3Distcp. Однако на этапе S3DistCP копируются только некоторые из файлов, которые перечислены в манифесте. Я не уверен, где мы должны искать проблемы - то есть, почему некоторые файлы являются копиями, а другие нет?S3DistCP копирует некоторые файлы для манифеста и не копирует остальные
Благодаря
Возможно, только некоторые узлы скопировали свою часть файлов? Можете ли вы проверить журналы задач, чтобы узнать, произошли ли какие-либо ошибки? –