Найти все строки в файлах кода python

Question

Я хотел бы перечислить все строки в моем большом проекте python.

Представьте себе различные возможности для создания строки в Python:

mystring = "hello world" 

mystring = ("hello " 
      "world") 

mystring = "hello " \ 
      "world" 

Мне нужен инструмент, который выводит «имя файла, номер строки, строка» для каждой строки в моем проекте. Строки, которые распределены по нескольким строкам с использованием «\» или «('')», должны отображаться в одной строке.

Любые идеи, как это можно сделать?

Answer 1

Если вы можете сделать это в Python, я бы предложил начать с просмотра модуля ast (абстрактное синтаксическое дерево) и оттуда.

Answer 2

Вы спрашиваете об утилитах I18N в Python?

http://docs.python.org/library/gettext.html#internationalizing-your-programs-and-modules

Там есть утилита под названием Ро-Utils (ранее xpot), который может помочь с этим.

http://po-utils.progiciels-bpi.ca/README.html

Answer 3

Gettext может помочь вам. Поместите ваши строки в _(...) структур:

a = _('Test') 
b = a 
c = _('Another text') 

Затем запустите в командной строке:

pygettext test.py 

Вы получите messages.pot файл с информацией вам необходимо:

# SOME DESCRIPTIVE TITLE. 
# Copyright (C) YEAR ORGANIZATION 
# FIRST AUTHOR <EMAIL@ADDRESS>, YEAR. 
# 
msgid "" 
msgstr "" 
"Project-Id-Version: PACKAGE VERSION\n" 
"POT-Creation-Date: 2009-02-25 08:48+BRT\n" 
"PO-Revision-Date: YEAR-MO-DA HO:MI+ZONE\n" 
"Last-Translator: FULL NAME <EMAIL@ADDRESS>\n" 
"Language-Team: LANGUAGE <LL@li.org>\n" 
"MIME-Version: 1.0\n" 
"Content-Type: text/plain; charset=CHARSET\n" 
"Content-Transfer-Encoding: ENCODING\n" 
"Generated-By: pygettext.py 1.5\n" 


#: teste.py:1 
msgid "Test" 
msgstr "" 

#: teste.py:3 
msgid "Another text" 
msgstr "" 

Answer 4

Вы также можете рассмотреть возможность разбора кода с помощью pygments.

Я не знаю другого решения, но это точно прост в использовании.

Answer 5

предложение о том, чтобы использовать модуль ast в 2.6, является хорошим. (Там же недокументированные _ast модуль 2.5.) Вот пример кода для этого

code = """a = 'blah' 
b = '''multi 
line 
string''' 
c = u"spam" 
""" 

import ast 
root = ast.parse(code) 

class ShowStrings(ast.NodeVisitor): 
    def visit_Str(self, node): 
    print "string at", node.lineno, node.col_offset, repr(node.s) 

show_strings = ShowStrings() 
show_strings.visit(root) 

Проблема в том многострочные строки. Если вы запустите выше, вы получите.

string at 1 4 'blah' 
string at 4 -1 'multi\nline\nstring' 
string at 5 4 u'spam' 

Вы видите, что он не сообщает начало многострочной строки, а только конец. Для этого нет хорошего решения, используя встроенные инструменты Python.

Другой вариант заключается в том, что вы можете использовать мой модуль «python4ply». Это определение грамматики для Python для PLY, которое является генератором синтаксического анализатора.Вот как вы можете использовать его:

import compiler 
import compiler.visitor 

# from python4ply; requires the ply parser generator 
import python_yacc 

code = """a = 'blah' 
b = '''multi 
line 
string''' 
c = u"spam" 
d = 1 
""" 

tree = python_yacc.parse(code, "<string>") 
#print tree 

class ShowStrings(compiler.visitor.ASTVisitor): 
    def visitConst(self, node): 
     if isinstance(node.value, basestring): 
      print "string at", node.lineno, repr(node.value) 

visitor = ShowStrings() 
compiler.walk(tree, visitor) 

Выход из этого

string at 1 'blah' 
string at 2 'multi\nline\nstring' 
string at 5 u'spam' 

Там нет поддержки для столбца информации. (В большинстве случаев есть полный код для комментариев, но он не полностью протестирован.) И снова я вижу, что вам это не нужно. Это также означает работу с модулем «компилятор» Python, который неудобен, чем модуль AST.

Тем не менее, с 30-40 строками кода вы должны иметь именно то, что хотите.

Answer 6

Включенный в комплект Python модуль tokenize также сделает трюк.

from __future__ import with_statement 
import sys 
import tokenize 

for filename in sys.argv[1:]: 
    with open(filename) as f: 
     for toktype, tokstr, (lineno, _), _, _ in tokenize.generate_tokens(f.readline): 
      if toktype == tokenize.STRING: 
       strrepr = repr(eval(tokstr)) 
       print filename, lineno, strrepr