Каждые несколько дней кластер Azure HDInsight перезапускается Microsoft (случайно?), И в этом процессе любые пользовательские изменения в hive-site.xml (например, добавление JsonSerde) теряются без предварительного предупреждения , и в результате запросы на улей из Excel/PowerPivot начинают ломаться.Устойчивые настройки Hive в HDInsight
Как вы должны иметь дело с этим сценарием - мы вынуждены хранить наши данные в виде файлов CSV?
Если вы укажете конфигурационный параметр Hive с настраиваемым объектом конфигурации во время создания кластера, он должен сохраняться. Ссылка здесь http://hadoopsdk.codeplex.com/wikipage?title=PowerShell%20Cmdlets%20for%20Cluster%20Management содержит дополнительную информацию о создании кластера с настраиваемой конфигурацией.
Чтобы сохранить настройку во время обновления os или переименования узла, вы должны подумать об использовании действия скрипта. Вот ссылка: http://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-customize-cluster/
В этом сообщении в блоге MSDN есть таблица, показывающая, какие настройки поддерживаются различными методами, а также примеры использования PowerShell или SDK для создания кластера с настраиваемыми параметрами конфигурации Hive (строка 62 -64 в примере Powershell): http://blogs.msdn.com/b/bigdatasupport/archive/2014/04/15/customizing-hdinsight-cluster-provisioning-via-powershell-and-net-sdk.aspx
Это единственный способ сохранить эти настройки, поскольку узлы кластера могут быть сброшены для событий обслуживания Azure, таких как обновления для системы безопасности, и конфигурации возвращаются к начальным значениям, когда это имеет место.