CDH4 Restore Cloudera Manager для существующего кластера

Question

Наш узел Cloudera Manager (4.7) на производстве вышел из строя, поэтому мы установили новую ОС на этом узле. Мы пытаемся восстановить Cloudera Manager из резервных копий, которые мы имеем (встроенный) postgresql db. Мы надеемся, что с помощью восстановленной базы данных CM может управлять существующим кластером с существующими конфигурациями.

Мы делаем несколько POC, в которых мы пытаемся перенести диспетчер cloudera на новый сервер с шагами, описанными ниже. (В конце концов, мы установим СМ на одном узле)

1. установить Cloudera-сервер-демон Cloudera-сервер
2. установить Cloudera-сервер-DB
3. Судо службу Cloudera-сервер БД запуск => это создает основные роли; восстанавливает пароли и т. д.
4. поэтому из нашего pg_dumpall foo.sql мы удалили начальные операторы, которые создали роли и пароли и базу данных. pql -U cloudera-scm -h localhost -p 7432 -f foo.sql postgres. Это успешно завершено.
5. На каждом из узлов кластера измените /etc/cloudera-scm-agent/config.ini, чтобы указать на новый узел
6. sudo service cloudera-server start. => мы ожидали, что CM подберет конфиги и просто загрузит. Однако нам нужна страница установщика
7. Установите бесплатную версию. Либо поиск ips, либо мы видим, что хосты доступны.
8. Затем он обновляет пакеты cdh на каждом узле кластера и просит нас установить службы.
9. После этого процесс немного неясен. Однако нам удалось назначить роли соответствующим узлам, например. HDFS с использованием того же корневого каталога, что он не был отформатирован, и все выглядит нормально. Однако вся наша конфигурация отсутствует. Это, по-видимому, свидетельствует о том, что КМ не считывал восстановленную БД.

Вышеуказанные шаги, похоже, не являются правильным способом восстановления состояния диспетчера cloudera. Этот Reference, возможно, содержит простой способ сделать это. Следуя шагам, указанным в ссылке, мы по-прежнему не можем заставить CM читать восстановленную БД. Может кто-нибудь указать на правильные шаги, пожалуйста? Любая помощь приветствуется.

Answer 1

После многих экспериментов мы пришли к выводу, что свалка db бесполезна. К счастью для нас у нас был каталог/data для postgresql.

Мы выбрали ту же машину для повторной установки (поэтому нет необходимости возиться с именами хостов и IPaddresses в /etc/cloudera-scm-agent/config.ini) Таким образом, мы установили правильную версию PostGreSQL, Cloudera -scm-server, cloudera-scm-server-db, cloudera-scm-agent, cloudera-scm-daemons и связанные с ними зависимости.

Один из вопросов, который мы имели, это то, что мы потеряли свойства db.mgmt.properties. Мы смогли изменить пароли пользователей (амон, hmon, smon, nav и т. Д.). Логикой для пароля является md5 (yourPasswordUser), используя функцию md5, доступную в postgres. Кроме того, вам необходимо добавить этот пароль с помощью «md5».

Загрузите cloudera-scm-сервер и все сервисы появятся. Если возникают проблемы с подключением к базе данных, перейдите в соответствующую службу, например. мониторинга активности и изменения пароля на ваш пароль. перезапуск.

Это сработало для нас. Нам не нужно было устанавливать или перенастраивать службы.