Разбор строки в C++

Question

У меня есть огромный набор строк журнала, и мне нужно разобрать каждую строку (так что эффективность очень важна).

Каждая строка журнала имеет вид

CUST_NAME TIME_START time_end (IP или URL) *

Так IP-адрес, время, время и, возможно, пустой список IP-адресов или URL-адресов, разделенных точкой с запятой. Если в последнем списке есть только ip или url, разделителя нет. Если больше 1, то они разделяются точкой с запятой.

Мне нужен способ разобрать эту строку и прочитать ее в структуре данных. time_start или time_end может быть либо системным, либо GMT. cust_name также может иметь несколько строк , разделенных пробелами.

Я могу это сделать, читая характер по характеру и в сущности написав свой собственный парсер. Есть ли лучший способ сделать это?

Answer 1

Возможно, Boost RegExp lib поможет вам. http://www.boost.org/doc/libs/1_38_0/libs/regex/doc/html/index.html

Answer 2

Пользовательский вход требует пользовательский парсер. Или, молитесь, чтобы существовал идеальный мир, и ошибок не существует. Специально, если вы хотите иметь эффективность. Проводка некоторого кода может помочь.

Answer 3

Вы можете попытаться использовать простой лексический словарь lex/yacc | flex/bison для анализа такого ввода.

Answer 4

Рассмотрим с помощью Regular Expressions library ...

Answer 5

Почему вы хотите сделать это в C++? Это похоже на очевидную работу для чего-то вроде perl.

Answer 6

У меня был успех с Boost Tokenizer для такого рода вещей. Это помогает вам разбить входной поток на токены с пользовательскими разделителями между токенами.

Answer 7

для такой простой грамматики, вы можете использовать раскол, взгляните на http://www.boost.org/doc/libs/1_38_0/doc/html/string_algo/usage.html#id4002194

Answer 8

Использование регулярных выражений (boost::regex хорошая реализация для C++), вы можете легко отделить различные части вашей строки - cust_name, time_start ... и найти все, что urls \ ips

Второй шаг - это более подробный разбор этих групп, если это необходимо. Даты, например, можно анализировать с использованием библиотеки boost::datetime (запись пользовательского парсера, если формат строки не является стандартным).

Answer 9

ОБНОВЛЕНИЕ изменен ответ решительно!

У меня есть огромный набор строк журнала, и мне нужно разобрать каждую строку (так что эффективность очень важна).

Просто имейте в виду, что C++ вряд ли поможет с точки зрения эффективности в этой ситуации. Не обманывайтесь, думая, что только потому, что у вас есть быстрый код синтаксического анализа на C++, что ваша программа будет иметь высокую производительность!

Эффективность, в которой вы действительно нуждаетесь, - это не производительность на уровне машинного кода кода разбора, а на общем уровне алгоритма.

Подумайте, что вы пытаетесь сделать.
У вас есть огромный текстовый файл, и вы хотите, чтобы преобразовать каждую строку в структуру данных,

Сохранение огромную структуру данных в памяти очень неэффективна, независимо от того, какой язык вы используете!

Что вам нужно сделать, это «выборка» по одной строке за раз, преобразовать ее в структуру данных и затем обработать ее, и только после того, как вы закончите работу с структурой данных, вы идете и выбираете следующую строку и преобразуйте ее в структуру данных, обработайте ее и повторите.

Если вы это сделаете, вы уже решили главное узкое место.

Для разбора строки текста, кажется, формат ваших данных весьма упрощенно, проверьте аналогичный вопрос, который я задал некоторое время назад: C++ string parsing (python style)

В вашем случае, я полагаю, вы можете использовать строку и используйте оператор >>, чтобы прочитать следующую «вещь» в строке.

см. this answer например код.

В качестве альтернативы (я не хотел удалять эту часть!) Если бы вы могли написать это в python, это будет намного проще. Я не знаю вашу ситуацию (это, кажется, что вы застряли с C++), но до сих пор

Посмотрите на эту презентацию для выполнения этих видов задачи эффективного использования питона генератора выражений: http://www.dabeaz.com/generators/Generators.pdf

Это стоит читать , На слайде 31 он имеет дело с тем, что кажется чем-то очень похожим на то, что вы пытаетесь сделать.

Это, по крайней мере, даст вам некоторое вдохновение.
Он также демонстрирует довольно сильно, что производительность достигается не конкретным кодом строковой разборки, а всем алгоритмом.

Answer 10

Парсер, который вам нужен, звучит очень просто. Take a look at this. Любой скомпилированный язык должен иметь возможность анализировать его с очень высокой скоростью. Тогда это вопрос о том, какую структуру данных вы создаете. & save.