Лучший способ обработки большого набора данных в R

Question

Мне нужно запустить некоторые регрессионные модели и описания на большом наборе данных. У меня есть папка объемом около 500 файлов (обновление: txt-файлы), которые я хотел бы объединить, и в общей сложности 250 ГБ.

Я знаю, как объединить все файлы из папки, но хотя я запускаю его на сервере 128RAM, я все время теряю память.

Я ищу советы и рекомендации по загрузке/объединению этих файлов управляемым способом (если возможно) с использованием RI, которые рассматривают такие пакеты, как «ff» и «bigmemory», будут ли эти предложения я решение?

Answer 1

Я бы предложил пакеты ff и biglm. Последний позволяет запускать регрессию во всем наборе данных, хранящемся на диске (используя ff), загружая меньшие куски в ОЗУ. Используйте read.table.ffdf() для преобразования отдельных файлов txt в файл ff на диске. См. Пример в файле справки для chunk.ffdf(), как запустить регрессию, используя biglm().