Многопоточность ответа? Обработка большого количества обработки

Question

В настоящее время у нас есть метод, который считывает данные клиента из нашей базы данных, проверяет данные для некоторых условий, а затем отправляет уведомления по электронной почте на основании того, выполнены ли эти условия.

Этот процесс запускается каждую минуту

Однако, поскольку все больше клиентов будут добавлены к нашей системе, что такой же процесс необходимо повторить для каждого клиента.

Конечно, это не имело бы смысл сделать цикл по каждому клиенту, как так:

 
CUSTOMERS = get_all_customers() 
FOREACH(customer in CUSTOMERS) 
    MyMethod(customer) 
END FOR 

выше кажется очень неэффективным. там

 
CUSTOMERS = get_all_customers() 
FOREACH(customer in CUSTOMERS) 
    StartNewThread(MyMethod(customer)) 
END FOR 

ли какие-либо проблемы с этим:

Я имею в виду многопоточных подход будет работать лучше, как так? В частности, скажем, есть 10 клиентов, тогда я уверен, что все будет хорошо - 10 потоков будут охватывать. Но что происходит, когда есть 50 или 100 клиентов? Это означает, что каждую минуту будут созданы 100 нитей! Каковы мои альтернативы?

Answer 1

Необходимо учитывать учетное время/контекст, таким образом, если у вас 1000 пользователей, это будет 1000 потоков, а также время создания потоков. Я предлагаю вам это:

CUSTOMERS = get_all_customers() 
size = CUSTOMERS.size()/1000; 
for (int i = 0; i < size; i++) { 
    StartNewThread(MyMethodOnArray(Array, size*i, size*(i+1) -1)); 
} 

Получить поток для каждого регистра 1k, компенсирующий накладные расходы. Или сделайте это, используйте ThreadPool, статическое количество доступных потоков и попросите каждый поток взять клиентский регистр и использовать синхронизированную функцию, которая возвращает текущий индекс в массиве и увеличивает его на единицу. В Java что-то вроде

int current_client; 
synchronized int getIndex() { 
    int j = current_client; 
    current_client++; 
    if (j < CUSTOMERS.size()) 
     return j; 
    return -1; 
} 

Проверьте -1, если поток получает это, он останавливается.