Расчет контрольной суммы в WebHdfs

Question

При загрузке файла с использованием «hdfs dfs -put» клиент вычисляет контрольную сумму и отправляет как входные данные + контрольную сумму в Datanode для хранения.

Как выполняется эта проверка контрольной суммы/проверка, когда файл читается/записывается с использованием WebHdfs? как целостность данных застрахована с помощью WebHdfs?

Документация Hadoop на apache ничего об этом не упоминает.

Answer 1

WebHDFS - это просто прокси-сервер через обычные операции с данными. В Datanodes размещаются сервлеты webhdfs, которые открывают стандартные DFSClients и читают или записывают данные через стандартный конвейер. Это дополнительный шаг в нормальном процессе, но принципиально не меняет его. Вот brief overview.