Я собираю данные через SQL-запрос, хотя R. У меня есть петля, чтобы вытащить небольшие куски большой таблицы, сохранить кусок и выбросить кусок, повторить в течение часа или около того вся таблица находится в плоских файлах в моем каталоге RSQL.R - OSX Mountain Lion и CPU Limit
Однако R побеждает предел Cputime превышен: 24 ошибки каждый так часто.
Я бегу Горный лев.
Я попытался
хороший -19n R CMD BATCH myscript.R
и OS продолжает убивать процесс при нечетных интервалах. Я не верю, что скрипт застрял на определенной операции, для того, чтобы пробираться сквозь петлю, требуется некоторое время.
петля выглядит так ..
for (i in 1:64){
foobyte <- NULL
for (j in 0:7){
max id = 1000000
rows = 1e5
to = max_id * (rows * j) - (i * 7 * rows)
from = max_id * (rows * (j-1)) - (1 * 7 * rows)
foobit <- queryDB(paste("SELECT * FROM foobar where id <= ', to,' and id > ',from,';")
foobyte <- rbind(foobit, foobyte)
}
filename <- paste("/my/data/dir/foobyte", j, ".csv", sep="")
write.table(foobyte, filename)
}
Она работает в течение 30-90 минут, прежде чем врезаться. Я попробую запустить R из сценария оболочки, вызывающего ulimit только в этом сеансе терминала, и посмотреть, как это работает.
Вы можете разместить петлю вы работаете? Я оставил сценарии, запущенные на ночь в интерактивном терминале на OSX Mountain Lion, не столкнувшись с этой проблемой. –
Обновлено сообщение. – bfb
Попробуйте запустить его в OS X GUI REPL, просто из любопытства? –