Как использовать многие потребительские потоки с помощью BlockingCollection

Question

Я использую шаблон производителя/потребителя с поддержкой BlockingCollection, чтобы читать данные с файла, анализировать/преобразовывать, а затем вставлять в базу данных. Код, который у меня есть, очень похож на то, что можно найти здесь: http://dhruba.name/2012/10/09/concurrent-producer-consumer-pattern-using-csharp-4-0-blockingcollection-tasks/

Однако основное отличие состоит в том, что мои потребительские потоки не только анализируют данные, но также вставляют их в базу данных. Этот бит медленный, и я думаю, что он блокирует потоки.

В примере есть две потребительские потоки. Мне интересно, есть ли способ увеличить количество потоков несколько разумным способом? Я подумал, что поток будет делать это, но не может понять, как это будет сделано.

В качестве альтернативы, как бы вы выбрали количество потребительских потоков? 2 не кажется правильным для меня, но я не уверен, что будет лучшим #. Мысли о лучшем способе выбора количества потребительских потоков?

Answer 1

Наилучший способ выбора количества потребительских потоков - математика: выяснить, сколько пакетов в минуту поступает от производителей, разделить это на количество пакетов в минуту, которое может обрабатывать один потребитель, и у вас есть довольно хорошее представление о том, сколько потребителей вам нужно.

Я решил проблему блокировки вывода (блокирование потребителей при попытке обновления базы данных), добавив еще один BlockingCollection, что потребители вставляют свои завершенные пакеты. Отдельный поток читает эту очередь и обновляет базу данных. Так что это выглядит примерно так:

input thread(s) => input queue => consumer(s) => output queue => output thread 

Это имеет дополнительное преимущество разводятся потребители от продукции, а это означает, что вы можете оптимизировать выход или полностью изменить способ вывода, не влияя на потребитель. Это может позволить вам, например, пакетно обновлять базу данных, чтобы вместо того, чтобы делать один вызов базы данных на запись, вы могли бы обновить дюжину или сто (или более) записей одним вызовом.

Я показываю очень простой пример этого (с использованием одного потребителя) в своей статье Simple Multithreading, Part 2. Это работает с фильтром текстовых файлов, но понятия одинаковы.