2016-11-22 2 views
0

У меня есть файл размером около 40 ГБ, и мне нужно выполнить некоторую аналитическую деятельность на нем, но мой баран ограничен 4gb любыми предложениями о том, как действовать дальше?Обработка без полной загрузки таблицы

+0

Я голосовал, чтобы закрыть этот ответ, потому что он слишком широк. Вы получите лучший ответ, если вы покажете, что вы пытались сделать и почему это не сработало. –

+0

Какую аналитику вы пытаетесь сделать? Может быть, вы можете обработать его кусками? – William

+0

см. Раздел «Большая память и данные из памяти» в разделе [Просмотр высокопроизводительных вычислений] (https://cran.r-project.org/web/views/HighPerformanceComputing.html) –

ответ

0

увеличить виртуальную память: увеличить размер файла подкачки

1

ЗАКАНЧИВАТЬ пакет LaF. Это позволяет вам выбирать столбцы и фильтровать файлы, которые в противном случае не помещались бы в память.

Документация и примеры немного тонкие на земле, что является позором, учитывая, что синтаксис немного похож на идиосинкразированный. Это может помочь:

https://stackoverflow.com/a/24716798/1427069

Смежные вопросы