Deedle бросает System.OutOfMemoryException при чтении большого файла csv

Я был очень рад найти Deedle несколько дней назад, что, кажется, отличный инструмент для анализа данных в мире NET. Однако некоторые из моих данных находятся в файлах csv, а метод Frame.ReadCsv выдает System.OutOfMemoryException для файлов размером около 200 МБ или больше. Я играл с параметрами Frame.ReadCsv без успеха. Я могу предварительно обработать данные в некоторых случаях перед загрузкой в dataframe, но было бы неплохо иметь возможность обрабатывать их непосредственно в Deedle. R не имеет проблем с загрузкой этих файлов в dataframe. Любые рекомендации?Deedle бросает System.OutOfMemoryException при чтении большого файла csv

Я встречаюсь с примером BigDeedle, но это не выглядит тривиально, и мне интересно, есть ли более простое решение, которое не требует дополнительного кода. Спасибо!

источник

2016-01-20 denskh

или просто использовать R ...... –

Спасибо Митчу, мой клиент не использует R, и это будет излишним для моей задачи. – denskh

Я не уверен, как это важно. R является бесплатным. Если это вы, то делаете анализ данных, почему это важно, что вы используете? –

Проверьте настройки ПФУ для 64 бит с

let is64Bit = (System.IntPtr.Size = 8)

и настроить Visual-Studio, чтобы переключиться FSI до 64 бит, здесь:

Tools -> Options -> F# Tools -> F# Interactive

источник

2016-01-20 19:28:52

У меня была такая же проблема некоторое время назад и я сделал именно это. Я думаю, что это должно решить и в этом случае. –

Deedle бросает System.OutOfMemoryException при чтении большого файла csv

ответ

Смежные вопросы