создавать новые темы или получить больше работы для потоков

Question

Я получил программу я создаю (в C#) и я вижу два подхода ..

1) Менеджер работы, которая ждет любого числа X потоков до конца, когда закончил он получает следующий кусок работы и создает новый поток и придает ему, что кусок

или

2) Мы создаем X нити, чтобы начать, дать им каждый кусок работы, и когда нить заканчивает кусок, он просит менеджера заданий для большей работы. Если больше нет работы, она спит, а затем снова спрашивает, когда сон становится все более продолжительным.

Эта программа будет выполняться и выполняться, чтобы я мог видеть ее превращением в сервис, который постоянно ищет больше заданий.

Каждый кусок будет состоять из множества идентификаторов данных, вызова в базу данных, чтобы получить некоторую информацию или выполнить операцию над идентификатором данных, а затем записать в базу данных информацию о идентификаторе данных.

Answer 1

Предполагая, что вы знаете о дополнительных мерах предосторожности, которые необходимо предпринять при работе с многопоточными операциями с базой данных, похоже, что вы описываете два разных сценария. Во-первых, у вас есть несколько потоков, и как только ВСЕ они закончат, он будет искать новую работу. Во втором - несколько потоков, и их операции полностью параллельны. Ваша окружающая среда будет тем, что определяет правильный подход; если есть что-то, связывающее всю работу в нескольких потоках, где дополнительная работа не может продолжаться до тех пор, пока все они не будут завершены, а затем с первым. Если они не оказывают большого влияния друг на друга, пойдите с последним.

Answer 2

Вместо того, чтобы сворачивать собственное решение, вы должны посмотреть класс ThreadPool в платформе .NET. Вы можете использовать метод QueueUserWorkItem. Он должен делать именно то, что вы хотите выполнить.

Answer 3

Второй вариант не совсем прав, поскольку постепенное увеличение времени сна означает, что вы будете ненужно блокировать эти потоки.

Скорее, у вас должен быть объединенный набор потоков, таких как второй вариант, но они используют WaitHandles для ожидания работы и использования шаблона производителя/потребителя. В принципе, когда производитель указывает, что есть работа, он отправляет сигнал потребителю (там будет менеджер, который определит, какой поток получит работу, а затем сообщит об этом потоке), который будет просыпаться и начать работать.

Возможно, вы захотите изучить библиотеку параллельных задач. Сейчас он находится в бета-версии, но если вы можете использовать его и с ним комфортно, я бы порекомендовал его, так как он справится с этим много (и намного лучше, учитывая количество ядер на машине, оптимальное количество потоков и т. д. и т. д.).

Answer 4

Бывшее решение (создайте нить для каждой новой работы), легче кодировать и не так уж плохо, если единицы работы достаточно велики.

Второе решение (пул потоков, с очередью работы) сложнее кодировать, но поддерживает меньшие единицы работы.