Как вы отлаживаете итераторы и фильтры?

Question

Я использую ведение журнала для отладки, однако он крайне неэффективен. Какие существуют другие подходы?

Answer 1

Accumulo имеет две отладочные версии, которые можно запустить локально, чтобы помочь с развитием или использовать в блок тестирование.

MockAccumulo - легкая версия в памяти. Я считаю, что это может быть удалено из базы кода относительно скоро, в пользу Mini Accumulo Cluster.

Mini Accumulo Cluster - это гораздо более представительный экземпляр Accumulo, чем MockAccumulo, он фактически запускает Zookeeper и запускает тот же код, что и обычный кластер Accumulo.

Я ранее использовал MockAccumulo, чтобы помочь в разработке итератора и включить хотя бы некоторые виды модульных тестов и нашел, что это очень полезно.

Answer 2

К сожалению, регистрация наиболее эффективна. Отлаживать традиционный отладчик довольно сложно, особенно в производственной среде из-за распределенной природы итераторов. Для отладки уровня prod лучше всего собрать несколько сценариев для извлечения всех ваших журналов в одно место, чтобы вы могли эффективно их анализировать. В режиме разработки вы можете настроить свой кластер Hadoop в локальном/одиночном/автономном режиме, что упростит определение, где работают ваши итераторы, чтобы вы могли подключить отладчик к выполняемому процессу.

Этот вопрос не Accumulo на скажем, но может дать вам некоторые идеи для выполнения отладки протоколирования

Consolidate MapReduce logs

Answer 3

Итератор-тест-жгут может помочь вам.

https://github.com/apache/accumulo/tree/1.8/iterator-test-harness

https://github.com/apache/accumulo/blob/master/docs/src/main/asciidoc/chapters/iterator_test_harness.txt