Есть ли какие-либо рекомендации относительно того, следует ли распространять файл с использованием распределенного кеша или нет?Насколько большой размер слишком большой для файла DistributedCache hasoop?
У меня есть файл размером 86746785 (я использую hadoop dfs -dus - не знаю, есть ли он в bytes или что). Это хорошая идея для распространения этого файла?
Единственный жизнеспособный ответ - «это зависит».
Что нужно учитывать при использовании распределенного кэша, файл копируется в каждый узел, который задействован в вашей задаче, что явно требует пропускной способности. Кроме того, обычно, если вы хотите файл в распределенном кеше, вы сохраните файл в памяти, поэтому вам придется принять это во внимание.
Что касается вашего случая - да, это байты. Размер составляет около 86 МБ, что отлично подходит для распределенного кеша. Все, что должно быть в пределах пары сотен МБ, должно быть, должно быть.
я хотел бы добавить, что он только получает копируется в узлы, которые фактически выполняют задачу для ваших задание - т. е. задание является одной задачей карты, оно будет скопировано только на узел, который выполняет эту задачу, а не ** каждый ** узел, как вы заметили. –
@ChrisWhite Вы правы, и я почему-то не думал сделать это различие. Отредактировано и добавлено в ответ. – TC1
Размер распределенного кэша по умолчанию равен 10 ГБ. Но лучше хранить несколько МБ данных в Distributed Cache. В противном случае это повлияет на производительность вашего приложения.
В дополнение к ответу ТС1, также рассмотреть следующие вопросы:
Hadoop ДФС -dus в байтах –