чтение большого файла в R

Я пытаюсь прочитать большой файл с пространственным разделителем (14Gb) из 49 376 строк и 73 625 столбцов в R для анализа.чтение большого файла в R

Я попытался использовать fread из пакета data.table, как предложено here.

Я получаю ошибку

Error: segfault from C stack overflow

Есть еще один подход, который можно было бы использовать здесь? Какие-либо другие пакеты или какая-то работа для этой ошибки? Информация о моем R-сеансе приведена ниже.

R version 3.0.2 (2013-09-25) 
Platform: x86_64-unknown-linux-gnu (64-bit) 

locale: 
[1] LC_CTYPE=en_US  LC_NUMERIC=C   LC_TIME=en_US  
[4] LC_COLLATE=en_US  LC_MONETARY=en_US LC_MESSAGES=en_US 
[7] LC_PAPER=en_US  LC_NAME=C   LC_ADDRESS=C   
[10] LC_TELEPHONE=C  LC_MEASUREMENT=en_US LC_IDENTIFICATION=C 

attached base packages: 
[1] stats  graphics grDevices utils  datasets methods base  

other attached packages: 
[1] data.table_1.9.4 

loaded via a namespace (and not attached): 
[1] chron_2.3-45 tools_3.0.2

источник

2015-01-14 user3745089

Вы получаете переполнение стека, используя [1.9.5, текущую версию разработки] (https://github.com/Rdatatable/data.table/wiki/Installation)? Если да, можете ли вы подать там какую-либо проблему? Благодарю. – Arun

Возможно, также обновите свою версию R до последней версии в сторону ..? –

К сожалению, это работает на сервере, и у меня нет возможности установить новую версию R. Версия разработки не устраняет проблему. – user3745089

Ошибка произошла из-за недостаточной памяти. Как только я увеличил предел памяти, fread работал должным образом.

источник

2015-01-14 18:03:57 user3745089

чтение большого файла в R

ответ

Смежные вопросы