Каноническая ссылка как способ борьбы с скребками?

Question

Предположим, что несколько внешних сайтов соскабливают/собирают ваш контент и публикуют его как свои собственные. Предположим также, что вы сохраняете единственный уникальный/постоянный URL-адрес для каждой части контента, так что сглаживание контента (на вашем сайте) никогда не является проблемой.

Есть ли какое-либо значение с точки зрения SEO, чтобы включить в ваш заголовок canonical link, так что, когда ваш сайт «очищается», каноническая индикация вводится на любой сайт, крадя ваш контент (при условии, что они собирают необработанный HTML-код а не через RSS и т. д.)?

Я слышал разные вещи о поведении межсайтовых канонических ссылок, от «их игнорируют» до «поведения неопределенного», «чтобы это не помешало», «чтобы убедиться, что это именно то, что каноническое предназначено для ». Мое впечатление было то, что канонический был хорошим способом иметь дело с внутри-сайт, но необязательно inter -это наложение псевдонимов.

Answer 1

Я не могу ответить на ваш вопрос напрямую.

Вы (кто-то в вашей компании) должны связаться со сторонами, которые синдицируют ваш контент без разрешения, и попытайтесь заставить их сделать это с разрешения. Вы должны уточнить свою политику в отношении несанкционированного синдикации. Это, конечно, деловое решение, и вам, вероятно, придется вовлечь вас в процесс развития/процесс развития людей и юристов в области ИС.

Если они настойчиво продолжают это делать, и вам абсолютно необходимо заставить их остановиться, вы можете начать подавать барахло своим роботам. Обнаружение их роботов может быть нетривиальным, поскольку они, вероятно, будут создавать «настоящий» заголовок пользовательского агента и использовать разные IP-адреса (большинство злоумышленников, похоже, используют EC2 в наши дни), однако, если вы успешны, их веб-сайты станут полными от мусора.

Как только их веб-сайты становятся полны мусора (или, что еще хуже), вы можете связаться с ними снова, спросив их, хотят ли они прекратить свое неприятное поведение.