Выполнение нескольких задач параллельно с зависимостями

Question

У меня есть число «сайтов» (m), каждое из которых должно обрабатывать событие (куски данных, все доступные на ходу). Каждое событие (n из них) отправляется на каждый сайт для обработки. Поэтому вы можете подумать, что у меня есть nxm-задачи. Порядок обработки не важен, только один сайт может не обрабатывать более одного события за раз (так что Task (m, x) не может работать параллельно с Task (m, y))

В настоящее время он реализован с использованием «OMP параллель» на сайтах, вложенных в регулярном для цикла по событиям

for(...event...) 
#pragma omp parallel for 
    for(...site...) 
     site.process(event) 

Это работает отлично, однако, не все сайты имеют одинаковую сложность для каждого события. то есть все сайты должны ждать самого медленного сайта, прежде чем переходить к следующему событию. Я предполагаю, что если я разрешу рабочим перейти к следующему событию, я могу сэкономить в два раза.

Каков наилучший способ реализации этого? Я использую C++ Я смотрю в TBB Flow Graph или несколько линий трубопроводов ...

Еще одно соображение заключается в том, что каждое «событие» должно считываться с диска и занимает немного памяти. Хотя пока не критично, я хотел бы иметь как можно меньше событий в системе (или ограничить их). В текущей реализации у меня есть только одна (плюс пара, подготовленная в фоновом режиме) Thanks

Answer 1

Я бы использовал процесс менеджера, который отслеживает обработанные события каждой стороны (m * n bool matrix) и события, которые в настоящее время «используются».

Каждый сайт начинается со случайного события. Менеджер циклически проходит через сайты, чтобы проверить, завершили ли они текущее событие и назначили новый, если это возможно.

C++ 11 предоставляет std::async для выполнения таких задач.

Каждый вызов процесса выполняется как асинхронный, и вы можете перебирать соответствующие элементы будущего, чтобы проверить, закончены ли они (wait_for).