Как перезапустить невосприимчивый мастер kubernetes в GKE

Question

Мастер kubernetes в одном из моих кластеров GKE стал невосприимчивым прошлой ночью после проблемы с инфраструктурой в нас-central1-a.

Всякий раз, когда я бегу «kubectl получить стручки» в пространстве имен по умолчанию, я получаю следующее сообщение об ошибке: Ошибка с сервера: ошибка на сервере предотвратил запрос от успеха

Если я бегу «kubectl get pods --namespace = kube-system ", я вижу только прокси-сервер kube-proxy и демона fluentd-logging.

Я пытаюсь масштабировать кластер до 0 и затем масштабировать его обратно. Я также попытался понизить и модернизировать кластер, но это, похоже, применимо только к узлам (а не к мастеру). Есть ли какая-либо команда API GKE/K8S для перезапуска мастера kubernetes?

Answer 1

Нет команды, которая позволит перезапустить мастер Kubernetes в GKE (поскольку мастер считается частью управляемой службы). Существует автоматизированная инфраструктура (а затем инженер oncall от Google), которая отвечает за перезапуск мастера, если это нездорово.

В данном конкретном случае перезапуск мастера не повлиял на его нормальное поведение, так как Google Compute Engine Incident #16011 вызвал перебои в работе 2016-06-28 для мастеров GKE, работающих в нас-central1-a (хотя это не указано на Google Cloud Status Dashboard). Во время инцидента многие мастера были недоступны.

Если вы попытались создать кластер GCE с использованием kube-up.sh за это время, вы бы так же увидели, что он не сможет создать функциональную основную виртуальную машину из-за проблем с задержкой SSD.