Просмотр графика в Spark с GraphX ​​и Zeppelin

Question

В настоящее время я работаю над проектом с использованием чужого кода. Я понимаю основную концепцию работы этого кода, но не все. С этой целью я пытаюсь проследить небольшой пример через прогон. Я знаю, что могу сделать это, используя println, но мне бы очень хотелось визуализировать график после каждой операции.

Можно ли просмотреть график, сгенерированный в искры? Я использую Zeppelin, потому что я читал, что это помогает с этой и другой отладкой, но я надеялся сделать визуальное представление графика.

Возможно ли это?

Answer 1

Spark GraphX ​​не имеет встроенного метода визуализации, и Zeppelin не предоставляет встроенного способа визуализации. Имеет смысл, что это, возможно, не было приоритетом, если учесть, что GraphX ​​(и Spark в целом) имеет своей основной целью работу с огромными наборами данных, распределенными по кластеру машин. Чтобы визуализировать полный график на вашем компьютере, вам нужно было бы собрать полный график для этой единственной машины, и если вы можете легко это сделать, вам действительно нужна распределенная система?

Если вы решили ответить еще да, есть несколько примеров визуализации Graphx графы там:

• D3.js in Databrick's proprietary notebook - должны быть в состоянии сделать что-то подобное в Цеппелин/Jupyter
• Graphlab - может отображение графики в IPython/Jupyter notebooks
• Gephi - обычно используются автономные визуализации, но no direct way to get your GraphX data in there