Использование DistributedCached в режиме кластера

Question

У меня есть объект:

class Cache { 
    Map<K,V> map; 
} 

Я использовал DistributedCache, чтобы указать URI содержит этот объект, а затем в функции настройки() в каждой задаче карты, я загрузил этот объект кэша для обработки В частности, используется объект Cache для хранения некоторого значения в каждой задаче карты.

Вопрос в том, что содержимое карты в каждом datanode будет отличаться друг от друга при запуске hadoop в режиме кластера. Это правильно? Потому что, когда я развивался в локальном режиме, содержимое карты содержит результат для всего набора данных.

Answer 1

Данные, сохраненные в DN, будут иметь одинаковый формат, и обработчик обработает файл того же формата. В коде драйвера вы должны определить типы ввода и формата. В этом случае контекст будет таким же. Контекст карты будет таким же, если задача карты будет выполняться на любом количестве DN.

Теперь в распределенный кеш вы добавите файлы, используя DistributedCache API. И в методе установки вы проверите файл, который хотите обработать, из массива объекта Path.