Утилита для поиска наиболее длинных повторяющихся строк

Question

Есть ли какой-либо инструмент или утилита или скрипт perl/python, который может находить самые длинные повторяющиеся подстроки в большом текстовом файле и печатать эти шаблоны и количество раз, когда происходит каждый шаблон?

Answer 1

http://en.wikipedia.org/wiki/Longest_repeated_substring_problem:

Самый длинный повторяется проблема подстроки находит самую длинную подстроку строки, которая происходит, по крайней мере в два раза. Эта проблема может быть решена в линейное время и пространстве, построив дерево суффикса для строки, и найти самый глубокий внутренний узел в дереве

• дерев суффиксов в питоне (немного устаревший, хотя ..) : http://hkn.eecs.berkeley.edu/~dyoo/python/suffix_trees/

• реализация Javascript с дальнейшим: объяснению http://www.allisons.org/ll/AlgDS/Tree/Suffix/