Gridgain: java.lang.OutOfMemoryError: превышен верхний предел GC

Question

Я пытаюсь настроить кластер Gridgain с двумя серверами.

1. Загрузка данных из CSV-файла (1 миллионов до 50 миллионов данных) к Gridgain с использованием GridDataLoader.

2. Найти минимальное, максимальное, среднее и т.д. из данных, загруженных,

При работе в качестве отдельного приложения в затмении я получаю правильный вывод.

Но, делая кластер (2 узлов в 2-х серверах + 1 узлов внутри моего затмение среды), я получаю java.lang.OutOfMemoryError: GC предела накладных расходов превысил ошибки.

Файл конфигурации я использую http://pastebin.com/LUa7gxbe

Answer 1

Изменение свойства XMX eclipse.ini в может решить эту проблему. Измените его -Xmx3g

Answer 2

java.lang.OutOfMemoryError: предел GC накладные расходы превысили

Эта ошибка происходит, когда система тратит слишком много времени выполнения сборки мусора. Это может быть несколько причин, оно очень связано с деталями вашей среды. Я не знаю Gridgain. Из-за вашей сложной среды я думаю о настройке VM: если ваше приложение ждет полной памяти, чтобы она была полной, прежде чем запускать сборку мусора, вот ваша главная проблема.

Намек может быть -XX: опция JVM -UseParallelGC (некоторая документация доступна here), но она должна быть в Grigain default conf. Я не понимаю, как правильно настроить параметры vm в вашей среде (some options seem to be related в кеш). Согласно тому же документу, медленная сеть может вызвать низкий процессор. Я полагаю, что высокая сеть может вызвать высокий процессор (возможно, связанный с GC)? Чтобы убедиться, что у вас есть соответствующая конфигурация VM, можете ли вы проверить параметры, применяемые при запуске?

Answer 3

Редактируйте сценарий bin/ggstart.sh, установите JVM_OPTS на большее значение. по умолчанию 1 Гб,

Изменить его JVM_OPTS = "- Xms2g -Xmx2g -server -XX: + AggressiveOpts -XX: MaxPermSize = 256m" или выше