Каковы гарантии соответствия Azure Data Lake Store? Кто-нибудь нашел техническую документацию, описывающую его?Консистенция Azure Data Lake Store
Меня особенно интересует, являются ли перемещения каталогов атомарными, являются ли списки каталогов согласованными и совместимы ли файлы после записи.
В Azure Data Lake Store файлы имеют согласованность после записи (также иногда называются сильной согласованностью). Списки каталогов также сильно соответствуют.
Операции с переименованием файлов и файлов являются атомарными. Это включает перемещение каталогов/файлов в другой родитель. Единственное предостережение от этого поведения - когда назначение операции переименования уже существует и используется опция OVERWRITE. В этом случае операция переименования не является атомарной. Дополнительная информация о переименовании с опцией OVERWRITE [находится здесь] (https://hadoop.apache.org/docs/r2.6.1/api/org/apache/hadoop/fs/FileSystem.html#rename(org.apache.hadoop.fs.Path, org.apache.hadoop.fs.Path, org.apache.hadoop.fs.Options.Rename ...)).
-Azure Data Lake Team
Отлично, спасибо за быстрый ответ! –
Есть ли какая-либо публичная техническая документация по консистенции магазина Lake Azure Data, BTW? –
На данный момент. Есть ли что-то конкретное, кроме того, что вы искали? –