Разбор файлов быстрый способ?

Question

Я пишу в библиотеке графов, которая должна читать наиболее распространенные графические форматы. Один формат содержит следующие данные:

e 4 3 
e 2 2 
e 6 2 
e 3 2 
e 1 2 
.... 

и я хочу разобрать эти строки. Я посмотрел на stackoverflow и нашел neat solution, чтобы сделать это. Я в настоящее время используют подход, как это (файл является fstream):

string line; 
while(getline(file, line)) { 
    if(!line.length()) continue; //skip empty lines 
    stringstream parseline = stringstream(line); 
    char identifier; 
    parseline >> identifier; //Lese das erste zeichen 
    if(identifier == 'e') { 
     int n, m; 
     parseline >> n; 
     parseline >> m; 
     foo(n,m) //Here i handle the input 
    } 
} 

Она работает довольно хорошо, и, как предполагалось, но сегодня, когда я тестировал его с огромным графа файлов (50 Мб +) Я был в шоке, что эта функция была безусловно, является наихудшим узким местом во всей программе:

Строковый поток, который я использую для анализа строки, использует почти 70% от общей продолжительности выполнения, а команда getline - 25%. Остальная часть программы использует только 5%.

Есть ли быстрый способ прочитать эти большие файлы, возможно, избегая медленных строк и функции getline?

Answer 1

Вы можете пропустить двойной буферизации вашу строку, пропустить разбор одного символа, и использовать strtoll для анализа целых чисел, например:

string line; 
while(getline(file, line)) { 
    if(!line.length()) continue; //skip empty lines 
    if (line[0] == 'e') { 
     char *ptr; 
     int n = strtoll(line.c_str()+2, &ptr, 10); 
     int m = strtoll(ptr+1, &ptr, 10); 
     foo(n,m) //Here i handle the input 
    } 
} 

В C++ strtoll должен быть в <cstdlib> включаемый файл.

Answer 2

mmap файл и обрабатывать его как один большой буфер.

Если система испытывает недостаток ММАПА, вы можете попытаться read файл в буфер, который вы malloc

Обоснование: большая часть времени находится в переходе от пользователя к системе и обратно в вызовах библиотеки C , Чтение во всем файле исключает почти все эти вызовы.