Эффективный метод чтения больших файлов CSV?

Question

В настоящее время у меня есть 5 CSV-файлов с примерно 45 000 записей на каждый файл. Какой лучший способ сделать это? Ive делал I/O раньше, но никогда в этом масштабе. Разбираться в векторную строку?

Answer 1

Да, читать их в vector было бы разумно.

Выбор хранилища немного зависит от того, что вы планируете делать, и каковы данные. Если вы знаете, какой формат данных, вы можете создать struct и прочитать данные в более организованную форму. Например. если файл выглядит так:

name, score, err 

Mats, 89, 2.1% 
Steve, 79, 8% 

тогда вы могли бы иметь структуру, как это:

struct Row 
{ 
    string name; 
    int score; 
    float err; 
} 

Как говорят комментарии, 45k линии не очень много, и это не должно вызывать каких-либо серьезных проблем если вы не запускаете его на что-то с вычислительной мощностью наручных часов.

Answer 2

Просто продолжайте делать то, что вы делаете: прочитать все строки в Vector из string S, A Vector о наличии Vector в string с, или Vector объектов. Мы говорим от 200 до 500 МБ ОЗУ, и в настоящее время большинство компьютеров имеют гораздо больше, чем доступно. С точки зрения времени обработки это будет составлять от 5 до 10 минут на среднем компьютере (в зависимости от объема обработки, конечно).

Если у вас возникли проблемы, задайте новый вопрос с дополнительной информацией.