Могу ли я использовать распределенный кэш Hadoop в автономном режиме?

Question

Я пишу программу Java MapReduce в Hadoop, и каждый редуктор должен иметь доступ к статическому XML-файлу (который содержит некоторую бизнес-логику о применении правил к спискам значений). Я решил сохранить этот файл в распределенном кеше, а затем использовать API распределенного кеша для его доступа (сериализовать его) в каждом редукторе. Я еще не реализовал это, но API выглядит просто, когда дело доходит до использования этой функции в HDFS/распределенном режиме. Однако можно ли использовать его в псевдораспределенном автономном режиме для моих целей тестирования? Как это сработает?

Кроме того, это плохая идея сериализации файла в каждом редукторе? Я открыт для предложений по другим способам распространения «глобальных статических данных» на редукторы.

Спасибо!

Answer 1

Да, вы можете - это будет работать так же, как в реальном кластере.

Это хорошая идея использовать распределенный кеш, если он не фиксирован. Другая альтернатива заключается в том, чтобы упаковать эти данные в банку, которая содержит код задания, в этом случае она не будет столь же гибкой, когда вам придется изменить XML (вы все равно можете изменить банку, но это не простой способ сделать это)