Hashed/Sharded ActionBlocks

Question

У меня есть постоянный поток определенных элементов, которые мне нужно обрабатывать параллельно, поэтому я использую TPL Dataflow. Уловка состоит в том, что элементы, которые имеют один и тот же ключ (аналогично словарю), должны обрабатываться в порядке FIFO и не быть параллельными друг другу (они могут быть параллельны другим элементам с разными значениями).

Работы делается очень ЦП с минимальными асинхронными замками так что мое решением было создать массив ActionBlock<T> сек размера Environment.ProcessorCount, без параллельности и после них в соответствии с GetHashCode значения этого ключом.

Создание:

_actionBlocks = new ActionBlock<Item>[Environment.ProcessorCount]; 
for (int i = 0; i < _actionBlocks.Length; i++) 
{ 
    _actionBlocks[i] = new ActionBlock<Item>(_ => ProcessItemAsync(_)); 
} 

Использование:

bool ProcessItem(Key key, Item item) 
{ 
    var actionBlock = _actionBlocks[(uint)key.GetHashCode() % _actionBlocks.Length]; 
    return actionBlock.Post(item); 
} 

Итак, мой вопрос, является ли это лучшим решением моей проблемы? Я ушибаю производительность/масштабируемость? Я что-то упускаю?

Answer 1

Я думаю, что ваш подход разумный, если вы знаете, что хеш-коды будут хорошо распределены.

Если вы хотите получить лучшую защиту от плохих распределений, вы можете использовать большее количество ActionBlock с, ограничивая их общий уровень параллелизма, используя один настраиваемый TaskScheduler, используемый всеми блоками. Вы можете найти такой планировщик in ParallelExtensionsExtras или on MSDN.