Ошибка чтения_таблицы при чтении файла .idx

Question

Я пытаюсь прочитать файл .idx размером около 1.89Gb. Если я пишу:

indexfile=pd.read_table("C:\Edgar Zip files\2001\company.idx")

Я получаю выход как:

• Название компании Форма Тип CIK Дата Имя файла Поданный
• 0 033 ООО УПРАВЛЕНИЕ АКТИВАМИ/...
• 1 033 АКТИВ УПРАВЛЕНИЕ ООО/...
• 2 1 800 КОНТАКТЫ INC ...
• 3 1 800 КОНТАКТЫ INC ...
• 4 1 800 ЦВЕТЫ COM INC ...

Где все столбцы объединяются вместе в одном столбце

---

Если я:

indexfile=pd.read_table("C:\Edgar Zip files\2001\company.idx",sep=" ")

Я получаю ошибку:

CParserError: Error tokenizing data. C error: Expected 69 fields in line 4, saw 72

---

я могу использовать:

indexfile=pd.read_table("C:\Edgar Zip files\2001\company.idx",error_bad_lines=False)

Но это будет просто удалить большинство моих данных.

Есть ли обходной путь?

PS: Ссылка на образец .idf файла SEC EDGAR. Загрузите файл company.idx.

Answer 1

Ваши записи в столбцах также содержат пробелы. Поэтому используйте разделители.

indexfile=pd.read_table("C:\Edgar Zip files\2001\company.idx",sep=" ")