Java GC Threading Bottleneck на практике?

Question

Насколько хорошо оптимизирован параллельный сбор GC для параллельных вычислений Java для многопоточных сред? Я написал многопоточный Jython-код, который большую часть времени тратит на вызовы библиотек Java. В зависимости от того, с какими параметрами я запускаю программу, библиотека вызывает либо тонны распределений под капотом, либо практически нет. Когда я использую параметры, которые требуют тонны распределений кучи, я не могу получить код для масштабирования за последние 6 ядер. Когда я использую параметры, которые не требуют большого количества распределений, он масштабируется как минимум до 20. Насколько вероятно, что это связано с узким местом GC, учитывая, что я использую запас Sun VM, параллельный GC и Jython как мой язык клей?

Редактировать: Чтобы уточнить, я не обязательно буду думать о вещах, которые очевидны для ветеранов Java, потому что я почти никогда не использую языки Java/JVM. Я выполняю большинство своих программ в D и флагманскую реализацию CPython Python. Я использую JVM и Jython для небольшого одноразового проекта b/c Мне нужен доступ к библиотеке Java.

Answer 1

Для меня проблемы с GC и многопоточность очень реальны. Я не говорю, что JVM плоха, дело в том, что самой проблеме очень сложно справиться.

В одном из наших проектов у нас было два приложения, запущенных в одном JVM (приложении). Когда они подчеркивали их индивидуально, это было прекрасно, но когда оба были напряженными, производительность ухудшалась странным образом. Наконец, мы разделили приложения. в двух JVM, и производительность вернулась к нормальной (конечно, медленнее, чем когда использовалось только одно приложение, но разумно).

Тюнинг GC чрезвычайно прост. Вещи могут улучшиться в течение 5 минут, а затем основная коллекция будет блокироваться и т. Д. Вы можете решить, хотите ли вы высокой пропускной способности или низкой латентности в операциях. Высокая пропускная способность подходит для пакетной обработки, для интерактивного применения требуется низкая латентность. В конечном счете, параметры по умолчанию для JVM были для нас лучшими результатами!

Это не совсем ответ, скорее возврат к опыту, но да, мне GC и многопоточность может быть проблемой.

Answer 2

Поскольку ваш вопрос касается узких мест GC, вы можете устранить эту возможность, включив ведение журнала GC и проверку журналов - если имеется большое количество событий GC с большими паузами, вы можете подтвердить/убрать эту теорию. (Однако в описываемом вами сценарии я бы предположил, что это не проблема GC).

Answer 3

Java GC является поколением. Коллекция первого поколения предназначена для ухода за недолговечными объектами и, как ожидается, будет работать часто. Ожидаемое поведение за короткий промежуток времени несколько раз в секунду, если имеется много короткоживущих ассигнований. (Это должен быть комментарий, а не ответ - у меня нет репутации, извините).

Кроме того, в зависимости от того, какую виртуальную машину вы используете, вы можете выбирать между алгоритмами GC. Параметры будут различаться в зависимости от версии и поставщика используемой виртуальной машины.

Некоторые (старые) Информация здесь: http://java.sun.com/developer/technicalArticles/Programming/turbo/#The_new_GC

Answer 4

Производительность Threading может варьироваться от одной версии jdk до другой. По моему опыту, на jdk6u18 параллельный gc, включенный с помощью -XX: + UseParallelGC (, но не), очень хорошо работает на четырехъядерном ядре с сотнями очень активных потоков. Я считаю маловероятным, чтобы он не масштабировался более чем на 6 ядер.

Тот факт, что оборудование Sun основано на процессорах с большим количеством ядер, объясняет, почему они приложили много усилий в новых сборщиков мусора в последние годы.

Параллельный gc не включен по умолчанию, поскольку его однопоточная производительность не так хороша, как по умолчанию gc.