как остановить выполнение искры программно при столкновении с плохими данными

Question

Я хочу добавить проверку достоверности данных в преобразование RDD. Каков самый элегантный способ прекратить обработку недопустимых данных? Он работает в кластере пряжи

Answer 1

Используйте трансформацию фильтра и проверьте условие. Это не приведет к возврату плохих записей. Теперь сравните счет этого RDD с предыдущим RDD. Когда он меньше, активируйте условие.