Как узнать, когда параллелизм будет запущен в аналитике озера Azure?

Question

У меня есть работа с аналитикой озера Azure, которая обрабатывает около 3,8 миллиона записей, хранящихся в хранилище данных Azure, с использованием пользовательских операторов U-SQL.

В первом прогоне я устанавливал параллелизм равным 10, а во втором исполнении я использовал параллельность равную 1. Удивительно, но моя продолжительность работы для обоих исполнений одинакова (около 1,5 часов). Таким образом, похоже, что параллелизм не срабатывает для моей работы. Это потому, что я использовал пользовательские операторы? Мне интересно, как я могу определить, когда будет запущен параллелизм, а когда нет?

Answer 1

Вы использовали пользовательские функции или пользовательские UDO?

Пользовательские функции не должны препятствовать параллелизму. Пользовательский UDO может, в зависимости от его внутренних компонентов.

Что говорят вершины графа задания?

Вы можете проанализировать распараллеливание, просмотрев график заданий, и если вы загрузите профиль, вы можете просмотреть граф вершин и использовать вкладку «Диагностика» для дальнейшего сверления. Воспроизводится ли фактически параллельное исполнение?

В общем случае система должна автоматически распараллеливать ваши задания на основе указанного вами предела, размера данных и сложности операций запроса и статистики, собранной и оцененной процессором запросов.