Сценарий проверки работоспособности Spark

Question

Я планирую искрообразование на кластере с несколькими узлами. Какие скрипты проверки работоспособности мне нужны для искрового кластера. Может ли кто-нибудь предоставить какой-либо образец? Как проверить, работает ли искра хорошо или нет, или какой-либо узел идет вниз и т. Д.

Answer 1

Ну, не все то, что вы хотели сделать, приходит в один кусок.

1. Для искровых работ - вам нужно принять решение о том, как вы хотите справиться с отказами. Это основано на ваших бизнес-требованиях, таких как: если вся работа завершится неудачей для одной плохой строки или просто продолжит работу и скопирует плохие записи. Это было бы предположено, что все рабочие узлы являются хорошими.

2. На основании того, какое распространение вы использовали, вы можете управлять здоровьем узла. Cloudera Распределения дает много подробностей о здоровье, и когда вы видите красные сигналы относительно памяти и т.д.

3. С oozie или любого управлением производственным процессом, вы можете также настроить оповещения по электронной почте для рабочих мест, когда они терпят неудачу