mysql/file hash question

Question

Я хотел бы написать скрипт, который обходит дерево файлов, вычисляет хэш для каждого файла и вставляет хэш в таблицу SQL вместе с файловым путем, так что я могу затем запросить и поиск идентичных файлов. Какова будет рекомендуемая функция хэша или команда как инструмент для создания хэшей, которые крайне маловероятны для разных файлов? Благодаря B

Answer 1

вы можете использовать md5 хэш или sha1

function process_dir($path) { 

    if ($handle = opendir($path)) { 
     while (false !== ($file = readdir($handle))) { 
     if ($file != "." && $file != "..") { 
      if (is_dir($path . "/" . $file)) { 
       process_dir($path . "/" . $file); 
      } else { 
       //you can change md5 to sh1 
       // you can put that hash into database 
       $hash = md5(file_get_contents($path . "/" . $file)); 
      } 
     } 
     } 
     closedir($handle); 
    } 
} 

, если вы работаете в Windows, изменения слэши к обратной косой черты.

Answer 2

Я работаю над этой проблемой слишком долго. Я нахожусь на третьем (и, надеюсь, окончательном) переписывании.

Вообще говоря, я рекомендую SHA1, поскольку он не имеет известных столкновений (в то время как столкновения MD5 can be found in minutes), а SHA1 не является узким местом при работе с жесткими дисками. Если вы одержимы тем, что ваша программа работает быстро в присутствии твердотельного диска, либо идите с MD5, либо дни отхода и дни вашего времени, выясняя, как распараллелить операцию. В любом случае do   не   распараллеливать   хеширование, пока ваша программа не сделает все, что вам нужно.

Кроме того, я рекомендую использовать sqlite3. Когда я делал хэши файлов программных файлов в базе данных PostgreSQL, вставки базы данных были настоящим узким местом. Конечно, я мог бы попробовать использовать COPY (я забыл, если бы я сделал или нет), и я предполагаю, что это было бы достаточно быстро.

Если вы используете sqlite3 и выполняете вставки в блоке BEGIN/COMMIT, вы, вероятно, смотрите около 10000 вставок в секунду при наличии индексов. Однако то, что вы можете сделать с результирующей базой данных, делает все это стоящим. Я сделал это примерно с 750000 файлами (85 ГБ). Вся операция вставки и SHA1 занимает менее часа, и она создала файл sqlite3 размером 140 МБ. Однако мой запрос на поиск дубликатов файлов и сортировку их по идентификатору занимает менее 20 секунд.

Таким образом, используя базу данных хорошо, но обратите внимание на накладные расходы на вставку. SHA1 более безопасен, чем MD5, но потребляет около 2,5x мощности процессора. Тем не менее, I/O имеет тенденцию быть узким местом (процессор занимает второе место), поэтому использование MD5 вместо SHA1 действительно не сэкономит вам много времени.

Answer 3

Вот решение, которое я понял. Я не делал все это в PHP, хотя это было бы достаточно легко сделать, если вы хотите:

$fh = popen('find /home/admin -type f | xargs sha1sum', 'r'); 
$files = array(); 
while ($line = fgets($fh)) { 
    list($hash,$file) = explode(' ', trim($line)); 

    $files[$hash][] = $file; 
} 
$dupes = array_filter($files, function($a) { return count($a) > 1; }); 

Я понимаю, что я не использовал базы данных здесь. Сколько файлов вы собираетесь индексировать? Вам нужно помещать эти данные в базу данных, а затем искать там обманов?