Ошибки при загрузке файла .csv с использованием pandas в python

Question

У меня большой размер csv-файла, примерно 6gb, и на загрузку python требуется много времени. Я получаю следующее сообщение об ошибке:

import pandas as pd 
df = pd.read_csv('nyc311.csv', low_memory=False) 


Python(1284,0x7fffa37773c0) malloc: *** mach_vm_map(size=18446744071562067968) failed (error code=3) 
*** error: can't allocate region 
*** set a breakpoint in malloc_error_break to debug 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/pandas/io/parsers.py", line 646, in parser_f 
    return _read(filepath_or_buffer, kwds) 
    File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/pandas/io/parsers.py", line 401, in _read 
    data = parser.read() 
    File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/pandas/io/parsers.py", line 939, in read 
    ret = self._engine.read(nrows) 
    File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/pandas/io/parsers.py", line 1508, in read 
    data = self._reader.read(nrows) 
    File "pandas/parser.pyx", line 851, in pandas.parser.TextReader.read (pandas/parser.c:10438) 
    File "pandas/parser.pyx", line 939, in pandas.parser.TextReader._read_rows (pandas/parser.c:11607) 
    File "pandas/parser.pyx", line 2024, in pandas.parser.raise_parser_error (pandas/parser.c:27037) 
pandas.io.common.CParserError: Error tokenizing data. C error: out of memory 

Я не думаю, что я понять код ошибки, последняя строка, кажется, предполагает, что файл слишком велик для загрузки? Я также попробовал вариант low_memory=FALSE, но это тоже не сработало.

Я не уверен, что «не может выделить регион» означает, возможно ли, что заголовок включает «область», а панды не могут найти столбец внизу?

Answer 1

Ошибка памяти из-за ОЗУ. Для этого нет другого объяснения.

Sum of all data memory-overheads for in-RAM objects !< RAM

malloc: *** mach_vm_map(size=18446744071562067968) failed Вы можете четко понять из этого сообщения об ошибке.

Попробуйте использовать.

df = pd.read_csv('nyc311.csv',chunksize =5000,lineterminator='\r') 

Или, если читаете этот файл CSV является лишь частью вашей программы, и если есть какие-либо другие dataframes созданные раньше, попробуйте очистить их, если они не используются.

import gc 
del old_df    #clear dataframes not in use 
gc.collect()  # collect Garbage 
del gc.garbage[:] # Clears RAM 

`