php make unique hash of rss описание

Question

im using php для создания сортировщика rss, который хранит данные из нескольких rss-каналов сайта в базу данных mysql. поскольку статьи могут быть дублированы на многих веб-сайтах, я хочу избежать этого. ive было сказано, что вы можете использовать хеширование для создания уникальных хешей на основе содержимого rss [description + title]. Теперь, какой алгоритм хэширования является самым быстрым и создает меньше символов, которые я могу использовать для сравнения, чтобы избежать дублирования.

Thanx заранее

Answer 1

sprintf ('% u', crc32()) производит 4 294 967 296 комбинаций и короче md5 или sha1. это всего лишь 32 бита.

Answer 2

Чтобы избежать ложных дубликатов следует использовать криптографически безопасный алгоритм хеширования как SHA-1 или MD5.

Answer 3

MD5 самый быстрый и производит хеш длиной 32 символа.

<?php 
$hash = md5($description . $title); 
?> 

Я использовал его в своем блоке RSS для точно такой же цели. И это работает как шарм.