Мезос, марафон, облако и 10 центров обработки данных - Как разговаривать друг с другом?

Question

Я искал комбо Mesos, Marathon и Chronos для размещения большого количества веб-сайтов. В моей голове я должен был бы ввести несколько команд в свой ноутбук и подождать около 30 минут для создания и развертывания этой вещи.

Моя единственная проблема заключается в том, что мои ресурсы разбросаны по нескольким центрам обработки данных, многочисленным облачным учетным записям и около 6 мест в местах. Я не вижу причин, почему я не могу контролировать их всех с моего ноутбука - (у меня серьезные проблемы с управлением и контролем, когда дело доходит до моего оборудования!)

Я думаю, что мой лучший подход - построить мозг в облаке (хранитель зоопарка и, по крайней мере, один мастер), а затем добавьте в отдельные центры обработки данных, но я еще не вижу каких-либо примеров распределенного кластера, где не все узлы могут разговаривать друг с другом.

Может кто-нибудь порекомендовать способ сделать это?

Answer 1

У меня есть установки, как это, что я хотел бы рекомендовать:

• Исходный код, сценарии развертывания и dockerfiles в GIT
• Каждый вебсервис имеет свой собственный каталог и поставляется вместе с dockerfile контейнеризации это
• Скопление скрипт (сценарий оболочки запущен Докер сборки) создает все DOCKER контейнеры, из которых все изображения сдвинуты в хранилище Докер изображения
• анзибль развернуть развертывает все контейнеры удаленно к набору VPSes , (Вы используете свою собственную процедуру развертывания, которая подходит для мезо/марафона)
• В рамках процесса активный агент MQ развертывается в облаке (да, в контейнере). При развертывании он поставляет каждому узлу URL-адреса брокера, к которому они должны подключиться. В вашей настройке вы могли бы вместо этого использовать ZooKeeper или etcd.

Я также использую jenkins для выполнения автоматических перестроек и запуска развертывания всякий раз, когда был зафиксирован GIT, но их также можно выполнять вручную.

Реконструкция молниеносно, и развертывания не занимают много времени. Я могу реплицировать все, что у меня есть в моем хранилище, бесконечно и иметь нулевую конфигурацию.

Чтобы иметь возможность выполнять новое развертывание, мне нужен набор VPS с докерами-демонами и некоторые хранилища данных для сохранения. Я не уверен, что это то, что вы можете заменить мезосом, но возможно, что он сможет установить облако мезо для вас на ваше оборудование.

Все протоколирование выполняется с помощью logstash на центральном сервере регистрации.

Answer 2

У меня есть установки 3 мастер, 5 раб, 1 шлюз Mesos/марафон/настройка грузчиком и документированы https://github.com/debianmaster/Notes/wiki/Mesos-marathon-Docker-cluster-setup-on-RHEL-7-with-three-master

это может помочь вам в понимании балансировки нагрузки/масштабированием на разных машинах в центре обработки данных

1) мастера также могут быть использованы в качестве рабов 2) Mesos HAproxy мост сценарий может быть использован для обнаружения службы вновь созданных служб в кластере 3) шлюз HAProxy обновляется каждый мин с новыми услугами, которые создаются

Эта документация имеет 1) ведущий/ведомый установки 2) создание HAProxy, которая автоматически перегружает 3) создание докеров программа обслуживания 4) Пример

Answer 3

Вы должны использовать Terraform, чтобы организовать инфраструктуру в качестве кода.

В Terraform есть много провайдеров, которые позволяют вам управлять различными ресурсами по нескольким облачным службам и/или ресурсам без покрытия, таким как vSphere.

Вы можете начать использовать Getting Started Guide.