hadoop map размер разлива и размер блока

Question

Мне просто любопытно, почему размер карты различной плотности, составляющей io.sort.mb, составляет 100 МБ (по умолчанию), когда размер блока составляет 128 МБ. Разве не имеет смысла устанавливать его равным размеру блока, поскольку задача карты в любом случае будет обрабатывать столько данных? Конечно, я понимаю, что здесь может быть проблема с назначением большего количества ОЗУ, но есть ли что-нибудь еще?

Answer 1

io.sort.mb - общий объем буферной памяти, необходимый для сортировки файлов в памяти. Как идеальное правило, всегда должно быть установлено не более 70% от общей ОЗУ. Размер блока в основном связан с установкой размера фрагмента файла на диске. Вы можете очень хорошо связать входные разделения с размером блока HDFS.

Посмотрите на этот пост, чтобы получить лучшее представление о

http://mail-archives.apache.org/mod_mbox/hadoop-common-user/201104.mbox/%3CBANLkTinNd=iL9e_fPSW8DAaSyNhQwRdgfw@mail.gmail.com%3E