У меня есть пакет веб-хостинга с двумя доменами, указывающими на него. Я заметил в Google, что он проиндексировал каталог одного из доменов для другого домена. Есть ли способ предотвратить это.Как запретить поисковой системе индексировать каталог для определенного домена?
Вы можете попробовать Robots exclusion standard, но не является гарантией.
Перенаправить все страницы одного из ваших доменов на другой. Вы можете сделать это с помощью .htaccess и modRewrite похожее на это:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^example\.com$ [NC]
RewriteRule ^(.*)$ http://www.example.com/$1 [R=301,L]
Это будет выполнять переадресацию 301 (перемещена) от example.com до www.example.com.
Для целей SEO вы никогда не хотите иметь дублированный контент (идентичные страницы на разных URL-адресах), всегда должен быть ровно один URL для вашего контента, все другие возможные URL-адреса должны быть перенаправлены на него.
Если вы используете Linux, то некоторые дополнения к вашему файлу .htaccess, вероятно, будут работать, но специфика будет зависеть от настройки вашего сайта.
Обновление вашего robots.txt, безусловно, решит проблему в будущем, но я думаю, что вопрос, который вы должны задавать, заключается в том, как Google знал, что эти страницы были там?
Во-первых, вы должны убедиться, что пользователь не может пройти файловую систему вашего сайта (если ваш сервер равен * nix, .htaccess должен иметь что-то вроде Options -Indexes). И если бы у вас была общедоступная ссылка где-либо, которая присоединилась к двум сайтам в одном домене, это может быть так, как Google нашел ее. Если вы стараетесь, чтобы ваш сайт был чистым и никогда не указывал на файлы в другом docroot, не должно быть проблем с хостингом одного домена из подкаталога другого домена.
Вы можете очистить индекс Google этих страниц, используя их Webmaster Tools. Чтобы идентифицировать себя как владельца сайта, вам нужно установить уникальный файл (они его создадут для вас) в корневой каталог ваших различных корней документа, затем вы можете вручную обновить части своего сайта, которые они имеют индексируются. Это относится только к только к Google.
Если вы были проиндексированы другими поисковыми системами (и вы, вероятно, были, если Google проиндексировал вас), вы должны попытаться выяснить, как они там попали, устранить проблему, переместить второй сайт в другую папку (вызывая страницы для сообщения 404 Page Not Found в вашем основном домене), а затем заставить поисковые системы переиндексации.