String splitting с неизвестной пунктуацией в Ruby

Question

Я создаю приложение, которое загружает предложения и анализирует их для словесной игры. Я заранее не знаю, какую пунктуацию будет содержать текст.

Я хотел бы иметь возможность разделить предложение/s, изучить их для части речевого тега, и если найден правильный тег, замените его на " " и верните их обратно по порядку.

text = "some string, with punctuation- for example: things I don't know about, that may or may not have  whitespaces and random characters % !!" 

Как я могу разделить его в массив, так что я могу передать анализатор над каждым словом, и присоединиться к ним , чтобы, имея в виду, что string.split(//) кажется, нужно знать, что знаки препинания я ищу для?

Answer 1

split полезен, когда вы можете более легко описать разделители, чем части, подлежащие извлечению. В вашем случае вы можете более легко описать детали, которые нужно извлечь, а не разделители, и в этом случае scan больше подходит. Это неправильное решение использовать split. Вы должны scan.

text.scan(/[\w']+/) 
# => ["some", "string", "with", "punctuation", "for", "example", "things", "I", "don't", "know", "about", "that", "may", "or", "may", "not", "have", "whitespaces", "and", "random", "characters"] 

Если вы хотите заменить спички, есть еще причина, чтобы не использовать split. В этом случае вы должны использовать gsub.

text.gsub(/[\w']+/) do |word| 
if word.is_of_certain_part_of_speech? 
    "___" # Replace it with `"___"`. 
else 
    word # Put back the original word. 
end 
end