Представление графика линии линии Spark RDD

Question

Я хотел бы знать, есть ли способ использования информации, предоставленной функцией искры api RDD.toDebugString(), в более структурированный формат, поэтому его можно использовать для автоматического получения графического представления, например, с графикой.

кажется, что есть некоторая активность вокруг этого происходит: https://issues.apache.org/jira/browse/SPARK-1015

Но я хотел бы получить информацию от toDebugString() в структурированном формате, , а затем решить, какой формат графа использовать для представления.

Answer 1

toDebugString() внутренне выполняет итерацию через рекурсивную структуру RDD, создавая отображаемую строку.

Вместо того, чтобы делать toDebugString(), возвратите более структурированный вывод, прочитайте его внутреннюю реализацию (которая полагается на структурированные данные) и измените ее, чтобы сохранить данные, подходящие для вас.

Вам не придется ждать, пока какой-либо вопрос о JIRA, просто сделай сам :)

Answer 2

Более подробное и отформатирован визуальное представление можно увидеть с помощью искрового UI, который выполняется по умолчанию на 4040 порту. Здесь скриншот, показывающий все детали: