Мой набор данных - это файл csv размером более 8 ГБ. У меня есть несколько строк кода, чтобы сделать его меньше. Так как файл слишком большой, невозможно запустить r-код. Сообщение об ошибке выдается, поскольку памяти недостаточно. Моя студия R - 64-разрядная версия в Windows. Любой эксперт знает, что делать?R анализ кода csv файл размером более 8 ГБ
Если вы не хотите покупать больше памяти, вам следует адаптировать свой алгоритм для обработки меньших блоков файла (например, первые строки 1-10000, затем строки 10001-20000 и т. Д.). Также использование пакета data.table может помочь уменьшить использование памяти.
В дополнение к тому, что сказал oseiskar, вы можете попробовать пакет sqldf для предварительной обработки данных в небольшой базе данных SQL и запросить только то, что может обрабатывать ваш компьютер. Также есть high performance task view, который имеет дело с большими наборами данных и из памяти.
Пакет bigmemory может быть ответом на ваши потребности
Ссылка: https://cran.r-project.org/web/packages/bigmemory/vignettes/Overview.pdf