проверить файлы для равенства

Question

Какой самый элегантный способ проверить файлы для равенства в Python? Контрольная сумма? Байт сравнивает? Думайте, что файлы не будут больше 100-200 МБ

Answer 1

использовать hashlib для получения md5 каждого файла и сравнить результаты.

#! /bin/env python 
import hashlib 
def filemd5(filename, block_size=2**20): 
    f = open(filename) 
    md5 = hashlib.md5() 
    while True: 
     data = f.read(block_size) 
     if not data: 
      break 
     md5.update(data) 
    f.close() 
    return md5.digest() 

if __name__ == "__main__": 
    a = filemd5('/home/neo/todo') 
    b = filemd5('/home/neo/todo2') 
    print(a == b) 

---

Обновление: На Python 2.1 есть filecmp module, что делает именно то, что вы хотите, и есть методы для сравнения каталогов тоже. Я никогда не знал об этом модуле, я все еще учусь Python сам :-)

>>> import filecmp 
>>> filecmp.cmp('undoc.rst', 'undoc.rst') 
True 
>>> filecmp.cmp('undoc.rst', 'index.rst') 
False 

Answer 2

Хорошо, для этого могут потребоваться два отдельных ответа.

Если у вас есть много файлов для сравнения, перейдите к контрольной сумме и кешируйте контрольную сумму для каждого файла. Разумеется, впоследствии сравните байт сопоставления файлов для байта.

Если у вас есть только два файла, перейдите непосредственно для сравнения байтов, потому что вы все равно должны прочитать файл, чтобы вычислить контрольную сумму.

В обоих случаях используйте размер файла как ранний способ проверки неравенства.

Answer 3

Я бы сделал контрольную сумму с MD5 (например) вместо байта comaprasion плюс проверка даты и зависит от того, вам нужна проверка имени.

Answer 4

Как насчет обстрела cmp?

import commands 
status, output = commands.getstatusoutput("/usr/bin/cmp file1 file2") 
if (status == 0): 
    print "files are same" 
elif (status == 1): 
    print "files differ" 
else: 
    print "uh oh!" 

Answer 5

Перед выполнением любой из других решений, вы можете захотеть сделать os.path.getsize(...) на обоих файлах. Если это отличается, нет необходимости сравнивать байты или вычислять контрольную сумму.

Конечно, это помогает только в том случае, если размер файла не установлен.

Пример:

def foo(f1, f2): 
    if not os.path.getsize(f1) == os.path.getsize(f2): 
     return False # Or similar 

    ... # Checksumming/byte-comparing/whatever 

Answer 6

насчет filecmp модуль? Он может сравнивать файлы по-разному с различными компромиссами.

И еще лучше, если она является частью стандартной библиотеки:

http://docs.python.org/library/filecmp.html