Обнаружить, если тот же url

Question

В настоящее время я работаю над проектом с использованием Python, и я столкнулся с небольшой проблемой.

Скажем, у меня есть два URLs:

1. url1 = 'www.google.com'
2. URL2 = 'google.com/'

Теперь, очевидно, эти два адреса эквивалентны: оба они прямо на той же странице. Однако моя простая реализация сравнения строк не может обнаружить это. Есть ли какой-либо существующий метод для обнаружения, если 2 URL-адреса относятся к одной и той же веб-странице?

(первый раз после, и я не нашел ничего похожего на это,. Мои извинения, если что-то подобное уже было предложено)

Answer 1

Вы можете разметить URL-адреса в разных компонентах и ​​испытания только те поля, которые вам не нравится. Один полезный модуль python: tldextract, который будет выполнять токенизацию для вас. Затем вы можете проверить, совпадают ли домены + tlds, а затем перейти к субдоменам. Затем вы можете решить удалить некоторые поддомены (например, «www») в вашем сравнении.