Инкрементный анализ строк в C++

Question

Я читаю данные из (последовательного) порта, используя неблокирующую функцию read() (в C/C++). Это означает, что при каждом «опросе» порта данные вводятся в куски неопределенных (но сообщаемых) размеров (включая 0). Затем мне нужно проанализировать этот «поток» для определенных шаблонов (а не XML).

Моя наивная реализация объединяет новую строку с предыдущей строкой потока каждый раз, когда read() возвращает ненулевой буфер и повторно разбирает всю строку. Когда шаблон сопоставляется, соответствующая часть отбрасывается, оставляя только хвост строки в следующий раз.

Очевидно, что существует гораздо более эффективный способ сделать это, например, инкрементный синтаксический анализ a-la SAX, декаподобных буферов или аналогичных струнных срезов и т. Д. Кроме того, очевидно, что я не первый, кто должен это делать тип анализа потока.

Кто-нибудь знает о какой-либо библиотеке, которая уже делает подобные вещи? Предотвращение переполнения памяти в случае отсутствия совпадений шаблонов также будет большим плюсом.

Спасибо, Adi

Answer 1

Вы можете сделать некоторые трюки в зависимости от вашего шаблона.

• В поисках одного символа, такого как новая строка, вам нужно только сканировать новую порцию строки.
• Если вы ищете \ r \ n, вам нужно только сканировать новую часть, начиная с последнего символа предыдущей части.
• Если у вас есть шаблон с известной конечной частью, вам нужно только отсканировать это окончание, чтобы узнать, нужно ли сканировать весь буфер.
• Если у вас есть какой-то синхронизирующий символ, например точка с запятой в C/C++, тогда вы можете анализировать или объявлять ошибку синтаксического анализа всякий раз, когда вы ее найдете.