Apache Spark: SparkPi Пример

Question

Я пытаюсь запустить Примеры искры, и я просто не понимаю, что происходит. я использовал

MASTER=spark://Illidan:7077 ./bin/run-example SparkPi 10 

, который делает начать процесс, но все это я получаю INFO сообщения.

Так что же такое «10»?

Можно ли обмениваться сообщениями INFO?

Где выходной сигнал? Где вычисляется Pi?

Могу ли я запустить пример из оболочки? Должен ли я запустить его из искровой оболочки, чтобы увидеть отпечатки, или он сохраняется в каком-то файле, о котором я не знаю?

Клянусь Богом, я сто раз обрабатывал документацию. Мне нужна помощь.

Hier - небольшой фрагмент моего вывода на терминал. Заранее спасибо. : D

14/12/31 00:02:25 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on 192.168.2.5:44913 (size: 1295.0 B, free: 267.3 MB) 
14/12/31 00:02:26 INFO scheduler.TaskSetManager: Finished task 1.0 in stage 0.0 (TID 1) in 25231 ms on 192.168.2.7 (8/10) 
14/12/31 00:02:26 INFO scheduler.TaskSetManager: Finished task 0.0 in stage 0.0 (TID 0) in 25358 ms on 192.168.2.5 (9/10) 
14/12/31 00:02:26 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on 192.168.2.4:36505 (size: 1295.0 B, free: 267.3 MB) 
14/12/31 00:02:27 INFO scheduler.TaskSetManager: Finished task 2.0 in stage 0.0 (TID 2) in 25877 ms on 192.168.2.4 (10/10) 
14/12/31 00:02:27 INFO scheduler.TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool 

Answer 1

Как видите, 10 - это количество разделов (или срезов), созданных программой искры. Задача вычисления PI была разделена на 10 задач (PI вычисляется с помощью итеративного алгоритма).

Результат показывает, что работа выполнена успешно. Вы также должны увидеть строку с результатом.

Вы можете найти исходный код примера PI here.

Answer 2

OrangePi Один СБК

• Процессор: 1,6 ГГц Н3 Четырехъядерный процессор Cortex-A7 H.265/HEVC 4K

• ГПУ: Mali400MP2 GPU @ 600 МГц, поддерживает OpenGL ES 2.0

• Оперативная память: 512 Мб DDR3 (совместно с GPU)

• Armbian ОС Debian GNU/Linux 8 (Jessie) 3.4.112-sun8i

Мое наблюдение заключается в том, что на OrangePi исполнение является ОДНОЙ РЕЗЬБОЙ. Я ожидал 4 параллельных задания, по одному на ядро. См. Приведенные ниже данные. Я увижу, что можно оптимизировать для существующих ядер, или Мали GPU (~ 7 GigaFLOPS).

корня @ orangepione: ~/искра/искровой 2.0.0-бен-hadoop2.7 # ./bin/run-example SparkPi 10

• где 10 это число распределенных задач/разделы/ломтики/нити

выполняется как 1 задачи на одной плате 4 сердечника

• потребовалось 19,0 сек Pi грубо 3,145951459514595
• принял 19,0 S P i примерно 3.1346713467134673

выполнен в виде 2-х заданий на одном 4 основной плате

• взяло 19,3 сек Pi примерно 3,1420757103785517
• занял 19,4 сек Пи примерно +3,13639568197841

выполнена в виде 4-х задач на одной 4-жильной плате

• также К 21,2 сек Pi примерно 3,141427853569634
• взял 21.5 сек Pi примерно 3,1445478613696536

выполнен в виде 10 задач на одном 4 ядра плате

• взял 40,8 сек Pi примерно 3,143983143983144
• принял 40,4 с. Пи примерно 3.141019141019141

выполнен в виде 50 задач на одной 4-жильной плате

• взял 156,5 сек Pi примерно 3,1399118279823655