Возможны ли регулярные выражения?

Question

Я пытаюсь разделить строку на лексемы (через регулярные выражения) следующим образом:

Пример # 1
входной строки: 'hello'
первый маркер: '
второй маркер: hello
третий маркер: '

Пример # 2
входная строка: 'hello world'
первый маркер: '
второй маркер: hello world
третий маркер: '

Пример # 3
входная строка: hello world
первый маркер: hello
второй маркер: world

, т. Е. Разделите строку только в том случае, если она НЕ в одинарных кавычках, а одинарные кавычки должны быть в их собственном токене.

Это то, что я до сих пор:

string pattern = @"'|\s"; 
Regex RE = new Regex(pattern); 
string[] tokens = RE.Split("'hello world'"); 

Это будет работать, например, # 1 и пример # 3, но это не будет работать, например, 2 #. Мне интересно, есть ли теоретически способ добиться того, что я хочу с помощью регулярных выражений.

Answer 1

Хотя можно было бы сопоставить ' и текст внутри отдельно, а также в качестве альтернативы соответствовать тексту в одиночку, RegExp не допускает неопределенного количества совпадений. Или лучше сказать, вы можете сопоставлять только те объекты, которые вы явно указываете в выражении. Таким образом, ((\w+)+\b) теоретически может соответствовать всем словам один за другим. Внешняя группа будет правильно соответствовать всему тексту, а также внутренняя группа будет правильно соответствовать словам, но вы сможете ссылаться только на последнее совпадение.

Невозможно сопоставить группу совпадающих совпадений (странное предложение). Единственный возможный способ - совместить строку и , затем разделить ее на отдельные слова.

Answer 2

'[^']+' будет соответствовать тексту внутри одинарных кавычек. Если вы хотите его сгруппировать, (')([^']+)('). Если совпадений не найдено, просто используйте регулярный разделитель строк. Я не думаю, что имеет смысл попытаться сделать все это в одном регулярном выражении.

РЕДАКТИРОВАТЬ: Кажется, что ваши комментарии к вопросу о том, что вы на самом деле хотите, чтобы это применялось к более крупному блоку текста, а не только к простым входам, как вы указали. Если это так, то я не думаю, что регулярное выражение - это ваш ответ.

Answer 3

Вы можете создать простой лексер, который будет включать в себя каждый из токенов один за другим. Таким образом, у вас будет список регулярных выражений и будет пытаться сопоставить один из них в каждой точке. Это самый простой и самый чистый способ сделать это, если ваш ввод - это нечто очень простое.

Answer 4

Используйте токеновый парсор, чтобы разделить на токены. Используйте регулярное выражение, чтобы найти строковые шаблоны.

Answer 5

Вы можете сначала разделить на цитируемую строку, а затем продолжить tokenize.

foreach (String s in Regex.Split(input, @"('[^']+')")) { 
    // Check first if s is a quote. 
    // If so, split out the quotes. 
    // If not, do what you intend to do. 
} 

(Примечание: вам нужно скобки в шаблоне, чтобы убедиться, что регулярное выражение.Split возвращает те тоже)

Answer 6

Попробуйте это регулярное выражение:

([']*)([a-z]+)([']*) 

Это находит 1 или более одиночные кавычки в начале и в конце строки. Затем он находит 1 или более символов в наборе a-z (если вы не зададите его нечувствительность к регистру, он найдет только символы нижнего регистра). Он группирует их так, что группа 1 имеет «, группа 2 (или более) имеет слова, которые разбиваются на что-либо, что не является символом a-z, а последняя группа имеет одинарную цитату, если она существует.

Answer 7

Не совсем то, что вы пытаетесь сделать, но регулярные условия выражения может помочь, как вы искать решение:

(?<quot>')?(?<words>(?(quot)[^']|\w)+)(?(quot)') 

Если цитата найдена, то она соответствует, пока не кавычка не найдено , В противном случае просматриваются слова. Ваши результаты представлены в группах с именем «quot» и «words».

Answer 8

Вы будете иметь трудное время, используя Split здесь, но вы можете использовать MatchCollection, чтобы найти все матчи в вашей строке:

string str = "hello world, 'HELLO WORLD': we'll be fine."; 
MatchCollection matches = Regex.Matches(str, @"(')([^']+)(')|(\w+)"); 

регулярное выражение для поиска строки между одинарными кавычками. Если он не может найти его, это займет одно слово.
Теперь он становится немного сложным - .net возвращает коллекцию Match s. В каждом матче есть несколько Group s - первая группа имеет целую цепочку ('hello world'), а остальные имеют подвыборы (', hello world, '). Кроме того, вы получаете много пустых неудачных групп.
Вы все равно можете легко перебирать и получать свои матчи. Вот пример использования LINQ:

var tokens = from match in matches.Cast<Match>() 
      from g in match.Groups.Cast<Group>().Skip(1) 
      where g.Success 
      select g.Value; 

tokens теперь коллекция строк:
hello, world, ', HELLO WORLD, ', we, ll, be, fine