Быстрый анализ файлов C++

Question

В настоящее время я делаю проект, где мне нужно прочитать несколько больших файлов. Я хотел бы спросить о некоторых из лучших практик для оптимизации синтаксического анализа файлов на C++.

После прочтения некоторых тестов (example) относительно fread, ifstream и т. Д. Я решил использовать ifstream для этой цели (если вы считаете, что есть лучший способ, пожалуйста, укажите любые улучшения). То, как я использовал его до сих пор было так:

std::ifstream input_file ("some_file.txt"); 
    input_file.seekg (0, input_file.end); 
    int length = input_file.tellg();  // Get the size of the buffer 
    input_file.seekg (0, input_file.beg); 

    std::vector<char> buffer (length); 
    input_file.read(&buffer[0], length); 

Тогда я хотел бы использовать stringstream для разбора файла, как это:

std::stringstream parser; 
    parser.rdbuf()->pubsetbuf(&buffer[0], length); 

и продолжить разбор с stringstream анализатором.

Вопросы, которые у меня есть такие, как залежи:

1. скопировать ли выше код в буфер stringstream или они обмена и тот же буфер? (Я не совсем уверен, что делает pubsetbuf или насколько он эффективен)
2. Есть ли лучший способ сделать это вместо использования stringstream?

3. Когда мы знаем длину некоторой относящейся к делу информации, т.е. «относящейся к делу информации, важной информации», и мы хотим, чтобы получить важную информацию, мы могли бы сделать что-то вроде этого:

   std::string container; 
   parser.seekg(irrelevant_size, parser.cur); // irrelevant_size is the size 
                 // of irrelevant data 
   std::getline(parser, container); 
   

4. Насколько эффективна это по сравнению с делать

   parser.get(temp_char_array, irrelevant_size + 1);

   собрать все ненужные данные?

Answer 1

pubsetbuf не сделайте копию. См. Следующую ссылку для получения более подробной информации:
http://www.cplusplus.com/reference/streambuf/streambuf/pubsetbuf/

И поиск вперед в файле (намного) быстрее, чем чтение всего. Строго говоря, это не требуется, чтобы быть быстрее, но на всех обычных ОС это почти постоянное время (на самом деле, но не пропорционально длине поиска). Может быть, разница не настолько велика, если пропускаются только некоторые байты, но она становится более важной с большими расстояниями.

В зависимости от того, насколько важна небольшая скорость,
У вашей ОС есть несколько более быстрых (но зависимых от ОС) функций.
И если есть лучший способ синтаксического анализа, это зависит от ваших данных.
Вы должны задать это в отдельных вопросах.