Почему соединение заканчивается

Я пробую случайную модель классификации леса, используя библиотеку H2O внутри R на обучающем наборе, имеющем 70 миллионов строк и 25 числовых функций. Общий размер файла составляет 5,6 ГБ.Почему соединение заканчивается

Размер файла проверки составляет 1 ГБ.

У меня 16 ГБ оперативной памяти и 8-ядерный процессор на моей системе.

Система успешно считывает оба файла в объекте H2O.

Тогда я даю ниже команду, чтобы построить модель:

model <- h2o.randomForest(x = c(1:18,20:25), y = 19, training_frame = traindata, 
          validation_frame = testdata, ntrees = 150, mtries = 6)

Но после нескольких минут (без создания каких-либо дерево), я получаю следующее сообщение об ошибке:

"Error in .h2o.doSafeREST(conn = conn, h2oRestApiVersion = h2oRestApiVersion, : Unexpected CURL error: Recv failure: Connection reset by peer"

Однако, если Я пробовал код с 1 деревом, и он работает успешно.

Вышеупомянутая ошибка возникает из-за проблемы с памятью? Любая помощь будет оценена.

источник

2015-06-17 rks

Возможно, вы потеряли память. Попробуйте посмотреть на использование памяти системы во время роста леса. Также попробуйте начать обучение непосредственно с веб-консоли H2O (по умолчанию http://localhost:54321/), возможно, это даст более подробную ошибку.

источник

2015-06-17 06:02:35 cyberj0g

Я проверил использование памяти во время роста леса. Память быстро падает, и, наконец, я получаю ошибку подключения. я убью другой процесс и запустим только RF-альго. – rks

Сообщите нам, если это поможет. В качестве альтернативы вы можете попробовать менее требовательный к ресурсу ML подход, например, глубокие нейронные сети, которые также существуют в базовой версии H2O. – cyberj0g

Это была моя ошибка. Раньше я запускал экземпляр H2O с опцией памяти по умолчанию (для моих данных это было слишком мало). Теперь я запускаю экземпляр H2O с опцией -Xmx14g, и algo работает успешно. Ура ... :). Я рассмотрю ваше предложение о глубоком обучении, если я получу точность меньше порога в моем случае. – rks

Его OutOfMemoryError. Разновидность этого сообщения об ошибке на стороне R является:

Error in .h2o.doSafeREST(conn = conn, h2oRestApiVersion = h2oRestApiVersion, : 
    Unexpected CURL error: Empty reply from server

Проверка журналов h2o сервера, которые вы должны сделать так, скажу вам:

10-08 20:11:57.165 192.168.0.4:54321  2125 #58072-18 INFO: Total file size: 1.81 GB 
10-08 20:11:57.165 192.168.0.4:54321  2125 #58072-18 INFO: Parse chunk size 4194304 
     onExCompletion for [email protected] 
     java.lang.OutOfMemoryError: Java heap space 
: 
: 
Exception in thread "FJ-0-11" java.lang.OutOfMemoryError: Java heap space 
2015-10-08 20:13:14.493:WARN:oejut.QueuedThreadPool:1 threads could not be stopped 
10-08 20:13:23.033 192.168.0.4:54321  2125 FJ-0-5 ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321 
10-08 20:13:23.458 192.168.0.4:54321  2125 FJ-0-3 ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321 
10-08 20:13:23.033 192.168.0.4:54321  2125 FJ-0-13 ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321 
10-08 20:13:23.033 192.168.0.4:54321  2125 FJ-0-7 ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321 
10-08 20:13:26.541 192.168.0.4:54321  2125 FJ-0-5 FATAL: Exiting. 
10-08 20:13:26.574 192.168.0.4:54321  2125 FJ-0-7 FATAL: Exiting. 
10-08 20:13:26.575 192.168.0.4:54321  2125 FJ-0-3 FATAL: Exiting. 
10-08 20:13:26.575 192.168.0.4:54321  2125 FJ-0-13 FATAL: Exiting.

Я бегу это на h2o Slater (3.2.0.5), поэтому в зависимости от вашей версии это может различаться.

источник

2015-10-09 03:26:14 Kingz

Почему соединение заканчивается

ответ

Смежные вопросы