Использование regex для удаления комментариев из исходных файлов

Question

Я создаю программу для автоматизации написания некоторого кода на C (я пишу для синтаксического анализа строк в одноименных перечислениях) Обработка C строк не так велика , Так что некоторые люди придирались ко мне, чтобы попробовать python.

Я сделал функцию, которая должна удалить C-стиль /* COMMENT */ и //COMMENT из строки: Вот код:

def removeComments(string): 
    re.sub(re.compile("/\*.*?\*/",re.DOTALL) ,"" ,string) # remove all occurance streamed comments (/*COMMENT */) from string 
    re.sub(re.compile("//.*?\n") ,"" ,string) # remove all occurance singleline comments (//COMMENT\n) from string 

Так что я попробовал этот код из.

str="/* spam * spam */ eggs" 
removeComments(str) 
print str 

И это, по-видимому, ничего не делало.

Любые предложения относительно того, что я сделал неправильно?

Там поговорка Я слышал пару раз:

Если у вас есть проблемы, и вы пытаетесь решить с Regex вы в конечном итоге с двумя проблемами.

---

EDIT: Оглядываясь на эти годы спустя. (после того, как я получил еще немного опыта синтаксического анализа)

Я думаю, что регулярное выражение, возможно, было правильным решением. И простое регулярное выражение используется здесь «достаточно хорошо». Возможно, я не подчеркнул этого в вопросе. Это был отдельный файл. У этого не было сложных ситуаций. Я думаю, что было бы намного меньше обслуживания, чтобы файл анализировался достаточно просто для регулярного выражения, чем для усложнения регулярного выражения, в нечитаемый суп символа.

Answer 1

re.sub возвращает строку, поэтому изменение кода на следующее даст результаты:

def removeComments(string): 
    string = re.sub(re.compile("/\*.*?\*/",re.DOTALL) ,"" ,string) # remove all occurance streamed comments (/*COMMENT */) from string 
    string = re.sub(re.compile("//.*?\n") ,"" ,string) # remove all occurance singleline comments (//COMMENT\n) from string 
    return string 

Answer 2

Вы делаете это неправильно.

Регулярное выражение для Regular Languages, которое не является.

Answer 3

Я бы предложил использовать синтаксический анализатор REAL, например SimpleParse или PyParsing. SimpleParse требует, чтобы вы действительно знали EBNF, но очень быстро. PyParsing имеет свой собственный синтаксис, подобный EBNF, но который адаптирован для Python и делает его легким для создания мощных точных парсеров.

Edit:

Вот пример того, как легко использовать Pyparsing в этом контексте:

>>> test = '/* spam * spam */ eggs' 
>>> import pyparsing 
>>> comment = pyparsing.nestedExpr("/*", "*/").suppress() 
>>> print comment.transformString(test)   
' eggs' 

Вот более сложный пример с использованием одно- и многострочные комментарии.

До:

/* 
* multiline comments 
* abc 2323jklj 
* this is the worst C code ever!! 
*/ 
void 
do_stuff (int shoe, short foot) { 
    /* this is a comment 
    * multiline again! 
    */ 
    exciting_function(whee); 
} /* extraneous comment */ 

После:

>>> print comment.transformString(code) 

void 
do_stuff (int shoe, short foot) { 

    exciting_function(whee); 
} 

Это оставляет дополнительный символ новой строки, где он раздетый комментарии, но которые могут быть решены.

Answer 4

Я рекомендовал бы прочитать эту страницу, которая имеет довольно подробное analyzis проблемы и дает хорошее представление о том, почему ваш подход не работает: http://ostermiller.org/findcomment.html

Краткая версия: регулярное выражение вы ищете это:

(/\*([^*]|[\r\n]|(\*+([^*/]|[\r\n])))*\*+/)|(//.*) 

Это должно соответствовать обоим типам блоков комментариев. Если у вас возникли проблемы после этого, прочитайте связанную с ним страницу.

Answer 5

Я вижу несколько вещей, которые вы, возможно, захотите пересмотреть.

Во-первых, Python передает объекты по значению, но некоторые типы объектов неизменяемы. Строки и целые числа относятся к этим неизменяемым типам. Поэтому, если вы передаете строку функции, любые изменения в строке, которые вы вносите в функцию, не будут влиять на строку, в которую вы передали. Вместо этого вы должны попробовать вернуть строку. Кроме того, в функции removeComments() вам нужно присвоить значение, возвращенное re.sub(), новой переменной - подобно любой функции, которая принимает строку в качестве аргумента, re.sub() не будет изменять строку.

Во-вторых, я бы сказал, что другие говорили о разборе кода C. Регулярные выражения - не лучший способ пойти сюда.

Answer 6

Как отмечалось в одном из моих других комментариев, комментарий вложенности на самом деле не является проблемой (в C комментарии не гнездятся, хотя некоторые компиляторы поддерживают вложенные комментарии в любом случае). Проблема связана с такими вещами, как строковые литералы, которые могут содержать точно такую ​​же последовательность символов, что и разделитель комментариев, фактически не являясь одним из них.

Как сказал Майк Грэм, правильным инструментом для работы является лексер. Парсер не нужен и будет излишним, но лексер - это именно то, что нужно. Как это происходит, я опубликовал (частично) lexer для C (и C++) ранее утром. Он не пытается правильно идентифицировать все лексические элементы (т. Е. Все ключевые слова и операторы), но это вполне достаточно для снятия комментариев. Он не будет делать ничего хорошего на «использовании Python», хотя, поскольку он полностью написан на C (он предшествует моему использованию C++ для гораздо большего, чем экспериментальный код).

Answer 7

mystring=""" 
blah1 /* comments with 
multiline */ 

blah2 
blah3 
// double slashes comments 
blah4 // some junk comments 

""" 
for s in mystring.split("*/"): 
    s=s[:s.find("/*")] 
    print s[:s.find("//")] 

выход

$ ./python.py 

blah1 


blah2 
blah3 

Answer 8

Эта программа удаляет комментарии с // и/* */из файла:

#! /usr/bin/python3 
import sys 
import re 
if len(sys.argv)!=2: 
    exit("Syntax:python3 exe18.py inputfile.cc ") 
else: 
    print ('The following files are given by you:',sys.argv[0],sys.argv[1]) 
with open(sys.argv[1],'r') as ifile: 
    newstring=re.sub(r'/\*.*?\*/',' ',ifile.read(),flags=re.S) 
with open(sys.argv[1],'w') as ifile: 
    ifile.write(newstring) 
print('/* */ have been removed from the inputfile') 
with open(sys.argv[1],'r') as ifile: 
     newstring1=re.sub(r'//.*',' ',ifile.read()) 
with open(sys.argv[1],'w') as ifile: 
     ifile.write(newstring1) 
print('// have been removed from the inputfile') 

Answer 9

Многие ответы даны уже, но;
Что относительно "//comment-like strings inside quotes"?

ОП спрашивает, как это сделать, используя регулярные выражения; так:

def remove_comments(string): 
    pattern = r"(\".*?\"|\'.*?\')|(/\*.*?\*/|//[^\r\n]*$)" 
    # first group captures quoted strings (double or single) 
    # second group captures comments (//single-line or /* multi-line */) 
    regex = re.compile(pattern, re.MULTILINE|re.DOTALL) 
    def _replacer(match): 
     # if the 2nd group (capturing comments) is not None, 
     # it means we have captured a non-quoted (real) comment string. 
     if match.group(2) is not None: 
      return "" # so we will return empty to remove the comment 
     else: # otherwise, we will return the 1st group 
      return match.group(1) # captured quoted-string 
    return regex.sub(_replacer, string) 

Это ВОЛЯ удалить:

• /* multi-line comments */
• // single-line comments

не будет удалить:

• String var1 = "this is /* not a comment. */";
• char *var2 = "this is // not a comment, either.";
• url = 'http://not.comment.com';

Примечание: Это также будет работать для Javascript источника.