Я ищу системную тестовую структуру для кластеров hadoop. Поддерживаемые варианты использования должны включать системный тест для HDFS, работу по сокращению количества карт и запросы на улей. Я нашел один из apache, который называется herriot, но я не уверен, что он все еще находится под техническим обслуживанием. Вы, ребята, знаете какие-либо существующие рамки?система автоматизации тестирования системы для кластеров hadoop
Hadoop уже имеет ориентиры и хранится в test.jar и example.jars , который вы только что узнали и автоматизировали. Из O'Reilly и других книг
% hadoop jar $HADOOP/hadoop-*-test.jar
Для теста DFSIO: TestDFSIO тестирует производительность ввода/вывода HDFS.
Он делает это с помощью задания MapReduce как удобный способ для чтения или файлы записи в параллельном
% hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO
command: TestFDSIO -read | -write | -clean [-nrFiles N] [-fileSize MB]
[-resFile resultFileName] [-bufferSize Bytes]
ex1: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -write -nrFiles
10 -fileSize 10000
ex2: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -read -nrFiles 10 -fileSize 10000
для тестирования карты уменьшить
ex3: % hadoop jar $HADOOP/hadoop-*-examples.jar randomwriter random-data
ex4: % hadoop jar` $HADOOP/hadoop-*-examples.jar sort random-data sorted-data
где $ HADOOP = путь к вашей инсталляции, где эти банки s хранится
спасибо, но это уже упоминалось в ответе Правэна выше. И я думаю, что TestDFSIO использует MiniFSCluster, правильно? – zhutoulala
Пожалуйста, обратите внимание на HadoopTest, надежность Testing Framework для Hadoop
спасибо, 2 не может быть посещены, но 1, безусловно, информативно, если я хочу построить AF сам, но я все еще хочу искать другие существующие сначала – zhutoulala
Я обновляю ссылку, но я не мог получить код для того же самого. –