Использование переадресации robots.txt или 301 для исправления ошибок дублирования

Question

У нас возникла проблема, когда Google считает, что /product.html совпадает с /category/product.html. Они представляют собой одно и то же содержимое, но две отдельные страницы. Я могу вручную

Redirect 301 /product1.html https://www.website.com/category/product1.html 
Redirect 301 /product2.html https://www.website.com/category/product2.html 

но у нас есть тысячи продуктов, и новые будут добавляться постоянно.

Я хочу знать, если есть способ сделать что-то вроде этого:

Disallow: /*.html$ 
Allow: /*/*.html$ 

В файле robots.txt? Или если есть способ сделать это в файле .htaccess, используя 301 переадресацию. Или, если в Opencart есть способ автоматически загрузить файл /product.html в /category/product.html (проблема заключается в том, что каждый продукт находится в нескольких категориях).

Благодаря

Answer 1

Вот две вещи, которые вы можете сделать:

В вашем .htaccess

Родовое 301 Перенаправление

RewriteEngine On 

RewriteRule ^category/(.+)$ $1 [L,R=301] 

В шаблоне HTML

Добавьте в шаблон своего продукта следующее. Это поможет Google узнать, какая из них является правильной страницей при наличии дублированного контента.

<link rel="canonical" href="https://www.website.com/product1.html" /> 

Google не рекомендует использовать robots.txt для этой цели:

Хотя мы рекомендуем вам использовать любой из этих методов, ни один из них не требуется. Если вы не укажете канонический URL-адрес, мы определим, что мы считаем лучшей версией или URL-адресом.

Не используйте файл robots.txt для целей канонизации. Не используйте инструмент удаления URL-адресов для канонизации: он удаляет все версии URL-адреса из поиска. Не указывайте разные URL-адреса как канонические для одной и той же страницы (например, один URL-адрес в карте сайта и другой URL-адрес для той же страницы с использованием rel = "canonical").

https://support.google.com/webmasters/answer/139066?hl=en#2

---

По вашему комментарию, это правило для перенаправления example.com/ * .html на example.com/category/ * .html

RewriteEngine On 

RewriteRule ^([^/]+.html)$ category/$1 [L,R=301]