тестирования искровых работ с издевается

Question

У меня есть искровая работа, как:

stream. 
..do some stuff.. 
map(HbaseEventProcesser.process) 

сейчас HbaseEventProcesser является объектом Scala (Singleton). Таким образом, нет проблем с сериализацией.

Проблема в тестировании этой искровой работы (используется holdenkarau spark-test lib). Я хочу высмеять HbaseEventProcessor с некоторой другой реализацией. Я пробовал два подхода:

• Проводить имплентацию в искровое задание (как аргумент конструктора, а не метод вызова внутри карты). Это вызывает проблему с проблемой сериализации
• использование силаMock. К сожалению, операция deepcopy завершилась неудачно, если используется SharedSparkContext.

Есть ли другие способы обхода?

Answer 1

У вас есть по крайней мере, следующие варианты:

1) делают HbaseEventProcesser регулярный класс, который расширяет некоторые чисто черта EventProcessor, и чем издеваться над его рамках вы выбор

2) рефакторинга, рефакторинга вы код для SMTH как это

def mapStream[T, R](stream: DStream[T], process: T => R) = { 
stream. 
..do some stuff.. 
map(process) 
} 

//in main code: 
mapStream(stream, HbaseEventProcesser.process) 

//in test code: 
mapStream(stream, customFunc)