Соответствие строки для нескольких регулярных выражений

Question

У меня есть база данных postgresql с таблицей, содержащая около 50 миллионов записей строк, которые являются адресами. Пример струн

NIAID, Opportunist Infect Res Branch, Treatment Res Programs, Div Aids, Bethesda, MD USA 
PRINCETON UNIV,DEPT PSYCHOL,PRINCETON,NJ 08544 

т.д.

Теперь я должен проверить, если адрес совпадает с любым из списка около 30 000 регулярных выражений. Мне также нужно знать, какое регулярное выражение соответствует. Примерами регулярных выражений являются

%umass mem med ctr worcester%worcester%ma% 
%darnnouth% 

Это, конечно, в формате «LIKE» для postgres. Поскольку сопоставление регулярных выражений не может воспользоваться индексированием (не так много, я уже проиндексировал поле varchar_pattern_ops), общее время работы этой операции составит около 30000x50 миллионов.

Я также могу использовать python для сопоставления регулярных выражений, если существует какая-либо библиотека python, которая поможет мне ускорить процесс.

Спасибо за помощь!

Answer 1

Что случилось с:

CREATE TABLE regex (
    regex text primary key 
); 

SELECT * FROM my_table 
    JOIN regex ON mytextfield like regex;