WorkManager и высокая рабочая нагрузка

Question

Я работаю над приложением, которое взаимодействует с сотнями устройств по сети. Тип выполняемой работы требует большого количества параллельных потоков (в основном потому, что для каждого из них требуется взаимодействие с сетью и делается это отдельно, но по другим причинам). На данный момент мы находимся в области, где требуется около 20-30 потоков на каждое устройство, с которым взаимодействует.

Простой расчет ставит это на тысячи потоков, даже до 10000 потоков. Если мы отложим штраф за процессор для переключения потоков и т. Д., Сколько потоков может работать на Java 5 на 64-разрядной ручке CentOS? Это просто вопрос ОЗУ или есть что-то еще, что мы должны рассмотреть?

Спасибо!

Answer 1

Я думаю, что до 65k потоков в порядке с Явы, единственное, что вам нужно рассмотреть в стек пространство - Linux по умолчанию выделяет 48k на поток/процесс как стека, который является расточительным для Java (который не имеет объектов, распределенных по стеклу, поэтому использует гораздо меньше пространства стека). Это будет легко использовать 500 мегабайт для потоков 10k.

Answer 2

В такой ситуации всегда рекомендуется использовать объединение потоков.

Пулы потоков адресуют две различные проблемы: они обычно обеспечивают улучшенную производительность при выполнении большого количества асинхронных задач из-за сокращения служебных издержек на одну задачу и обеспечивают средства для ограничения и управления ресурсами, включая потоки, потребляемые, когда выполнение набора задач. Каждый ThreadPoolExecutor также поддерживает некоторую базовую статистику, такую ​​как количество завершенных задач.

ThreadPoolExecutor - класс, который вы должны использовать.

http://www.javamex.com/tutorials/threads/ThreadPoolExecutor.shtml

Answer 3

Если это действительно абсолютное требование, вы можете взглянуть на язык, который специально создан для решения этого уровня параллельных потоков, таких как erlang.

Answer 4

Как и другие, вы должны использовать NIO. У нас было приложение, которое использовало много (но намного меньше, чем вы планируете) потоков (например, 1000), и оно было уже очень неэффективным. Если вам нужно использовать THAT много потоков, то определенно пора рассмотреть использование NIO.

Для сети, если ваши приложения используют HTTP, один очень простой инструмент будет Async-HTTP-client автором 2 в этом поле.

Если вы используете другой протокол, рекомендуется использовать базовую реализацию Async-HTTP-клиента (netty).