Как решить дублирующийся контент для поисковых систем?

Question

У меня есть 2 сайта: Site1.com и Site2.com.

Сайт Site1.com имеет 2 страницы: a.htm и b.htm. Site2.com имеет 3 страницы: a.htm, b.htm и c.htm.

Страницы a.htm и b.htm дублируются на двух сайтах.

Я хочу, чтобы поисковые системы индексировали a.htm и b.htm из Site1 и c.htm с сайта2. Как и где указать это предпочтение? Я предпочитаю не указывать свои предпочтения на уровне страницы (что означает необходимость редактировать каждую страницу), если это возможно.

Спасибо.

Answer 1

Создайте файл robots.txt в корне каждого сервера, указав, какие страницы должны быть проиндексированы.

Например, на участке 2:

User-agent: * 
Disallow: /a.htm 
Disallow: /b.htm 

Answer 2

Вы не можете напрямую - никакая поисковая система не предлагает такого типа типа «заполните эту форму».

Ваши два варианта:

1) использовать robots.txt сказать роботам не индексировать страницы на
Сайта 1 2) использовать 301 «постоянно перемещается» перенаправляет сказать сканерам пойти посмотреть на site2 вместо Сайта 1 ,