найти шаблоны из списка слов

Question

Есть ли способ сопоставления списка слов из файла. У меня есть два файла, A и B. А имеет список слов

A 
abcd 
xyzt 

И файл B

B 
abcdefgh abcd 
abcdytqw wert 
zswertyu xyzt 

Я хочу, чтобы извлечь строки 1 и 3 из FILEB. Я хочу, чтобы соответствовать А во второй колонке B, и если он совпадает печать, что линия B.

Выход будет

abcdefgh abcd 
zswertyu xyzt 

Я попытался это с помощью Grep в Perl в цикле. Но это слишком медленно. У меня есть список более 100K.

Answer 1

Этот способ загружает все А в набор, чтобы ускорить работу. Если вы не загружаете A в память, вам придется сравнивать каждую строку A со всем файлом B. Загружая A в память, вам нужно только один раз пропустить каждый файл. Кроме того, так как А в памяти, она будет намного быстрее, чтобы проверить, если второй столбец B в A.

Вот пример этого в Python:

#!/usr/bin/env python 

def load_data(filename): 
    with open(filename, 'r') as infile: 
     Aset = set() 
     for line in infile: 
      word = line.strip() 
      if word == '': 
       continue 
      Aset.add(word) 
    return Aset 

if __name__ == '__main__': 
    Aset = load_data('A') 

    with open('B', 'r') as infile: 
     for line in infile: 
      # Assumes that each line in B will have at least 2 columns. 
      # And that the column you are checking against is the last. 
      word = line.strip().split()[-1] 
      if word in Aset: 
       print line.strip() 

Это не будет работать, если машина не хватает (свободной) памяти для загрузки всего файла A в набор.