Чтение нескольких файлов в распределенный кеш в map -reduce

Question

В настоящее время я пытаюсь добавить два файла в распределенный кэш. Однако, когда я пытаюсь прочитать его, второй файл читает те же данные, что и первый файл, хотя в двух файлах хранятся совершенно разные данные. Любая идея, почему это происходит?

Answer 1

Скорее всего, как вы на самом деле настраиваете задание, а затем получаете доступ к ним в Mapper. Когда вы настраиваете работу вы собираетесь сделать что-то вроде

job.addCacheFile(new Path("cache/file1.txt").toUri()); 
job.addCacheFile(new Path("cache/file2.txt").toUri()); 

Затем в коде картографа URL-адрес будет храниться в массиве, которые могут быть доступны, как так.

URI file1Uri = context.getCacheFiles()[0]; 
URI file2Uri = context.getCacheFiles()[1]; 

Если этот процесс доступа к вашим файлам не работает, может возникнуть проблема с фактическими файлами.