Строки совпадения в двух текстовых файлах

Question

У меня есть два текстовых файла, первый файл - 40 ГБ (data2), второй около 50 МБ (data1) Я хочу проверить, нет ли в строке 1 строки в файле file2, поэтому я написал python (ниже) для этого процесса с этим сценарием занимает слишком много времени, так как он берет строку из файла1, затем проверяет весь файл2 по строкам.

for line in open("data1.txt","r"): 
    for line2 in open("data2.txt","r"): 
     if line==line2: 
      print(line) 

есть ли способ/код, чтобы сделать это быстро? скрипт работает с 5 дней и до сих пор не закончил. есть ли способ показать номер% или текущего номера в процессе?

Answer 1

Используйте набор и обратную логику, проверяя, если любая строка из большого файла данных в наборе строк f2, которая меньше 50mb файла:

with open("data1.txt", "r") as f1, open("data2.txt", "r") as f2: 
    lines = set(f1) # efficient 0(1) lookups using a set 
    for line in f2: # single pass over large file 
     if line in lines: 
      print(line) 

Если вы хотите использовать номер строки перечислим:

with open("data1.txt", "r") as f1, open("data2.txt", "r") as f2: 
     lines = set(f1) # efficient 0(1) lookups using a set 
     for lined_no, line in enumerate(f2, 1): # single pass over large file  
      # print(line_no) # uncomment if you want to see every line number 
      if line in lines: 
       print(line,line_no)