Производительность для хранения лазурных таблиц из массивно-параллельного чтения с резьбой

Question

Краткая версия: Можно ли читать из десятков или сотен табличных разделов многопоточным способом для увеличения производительности на порядки?

Длинная версия: Мы работаем над системой, которая хранит миллионы строк в хранилище таблиц Azure. Мы делим данные на небольшие разделы, каждая из которых содержит около 500 записей, что представляет собой дневную стоимость данных для единицы.

Поскольку у Azure нет функции «суммы», чтобы вытащить данные за год, мы либо должны использовать некоторое предварительное кэширование, либо суммировать данные сами в сети Azure или рабочей роли.

Предполагая следующее: - Чтение раздела не влияет на производительность другого - Чтение раздела имеет узкое место в зависимости от скорости сети и поиска сервера

Затем мы можем сделать предположение, что, если мы хотим чтобы быстро суммировать много данных «на лету» (1 год, 365 разделов), мы могли бы использовать массивный параллельный алгоритм, и он будет почти идеально масштабироваться по количеству потоков. Например, мы могли бы использовать параллельные расширения .NET с 50 + потоками и получить ОГРОМНОЕ повышение производительности.

Мы работаем над созданием некоторых экспериментов, но я хотел посмотреть, было ли это сделано раньше. Поскольку сторона .NET в основном работает без ожидания при работе с высокой задержкой, это кажется идеальным для многопоточности.

Answer 1

Ограничения на количество транзакций, которые могут быть выполнены против учетной записи хранилища и определенного раздела или сервера хранения за определенный период времени (где-то около 500 рек/с). Таким образом, в этом смысле существует разумное ограничение количества запросов, которые вы могли бы выполнить параллельно (прежде чем он начнет выглядеть как DoS-атака).

Кроме того, в реализации я буду опасаться одновременных ограничений подключения, наложенных на клиента, например, System.Net.ServicePointManager. Я не уверен, что клиент Azure-хранилища подвержен этим ограничениям; они могут потребовать корректировки.