Параллельные или параллельные запросы в кластере из 10 узлов

Question

Я написал простой скрипт с 200 параллельными потоками, который делает HTTP-запросы и обрабатывает результаты. Мне нужно сделать около 50 000 000 запросов. Сценарий - это простая модификация «скрытого решения», предложенная here (первый ответ).

Если я хочу запустить его на кластере AWS с 10 узлами, как я могу его распараллелить? Если я просто скопирую этот скрипт на один узел и запустил его, что произойдет? То же, что и на локальной машине?

Будучи новым для всего этого, мне нужна отправная точка. Благодаря!

Answer 1

На AWS вы можете иметь балансировщик упругой нагрузки (ELB). Вы можете настроить все вручную или внутри группы AutoScaling. В любом случае, ваши X (X = 10: D) экземпляры будут прикреплены к ELB. Вам нужно правильно настроить проверку работоспособности ELB, чтобы он выглядел здоровым и показывал трафик для всех. Если это будет сделано, вам необходимо отправить свои параллельные запросы в конечную точку ELB. Также стоит проверить липкие сессии, если вам это нужно, или это приводит к ложному результату, например, посылка всего трафика в один экземпляр, потому что источник всех запросов одинаковый.