Размер блока файловой системы Google

Question

Почему размер блока в GFS 64Mb, хотя он может привести к внутренней фрагментации , когда размер файла не в кратной 64?

Answer 1

Эти системы разработаны для обработки больших файлов. Точно так же по умолчанию HDFS использует 128 МБ.

Answer 2

В целевых приложениях файлы, скорее всего, будут большими. Chunk-сервер может выполнять большое последовательное чтение, а не много небольших чтений, следовательно, повышает пропускную способность.

три причины, упомянутые в статье ГФС:

1. Низшие загрузку мастера. Главный сервер GFS предоставляет метаданные фрагмента вместо содержимого фрагментов. Таким образом, меньшее количество запросов будет отправлено на главный сервер, если кусок является относительно большим.
2. Уменьшение сетевых издержек, это поощряет приложения к завершению многих операций на одном блоке и постоянном сетевом соединении. Приложения также получают свои данные за меньшее количество запросов.
3. Уменьшение размера метаданных, хранящихся в главном файле. В дизайне GFS есть только один главный сервер. Все метаданные блоков хранятся в памяти мастер-сервера, чтобы уменьшить задержку и увеличить пропускную способность. Большие куски означают меньше метаданных, а меньше метаданных означает меньшее время загрузки метаданных.

Кроме того, метаданные распространяются на серверных серверах для локальных проблем, а не на главном сервере. Когда главный сервер запускается, он загружает метаданные со всех серверных блоков. Поэтому меньше метаданных означает меньшее время запуска.

Чтобы ограничить влияние большого размера куска, GFS использует ленивое распределение пространства, то есть если размер файла составляет всего 1 МБ, GFS запрашивает только 1 МБ из файловой системы, а не 64 МБ, чтобы избежать потери пространства из-за внутренней фрагментации.

Возможно, стоит упомянуть, что преемник GFS, называемый Colossus, уменьшает размер блока данных с 64 МБ до 1 МБ.