как заблокировать поисковую систему для поиска из моего домена

Question

Я хочу заблокировать поисковую систему, чтобы остановить индексирование моего сайта. Я выполнил эту ссылку Here и создаю robot.txt для root. Содержание:

User-agent: http://search.pch.com 
Disallow:/

Но это не работает. Любая помощь будет оценена. Я хочу заблокировать поисковую систему http://search.pch.com либо через .htaccess, либо каким-либо другим способом.

UPDATE Я также попытался это один

<meta name="robots" content="noindex, nofollow"> 
<meta name="googlebot" content="noindex, nofollow"> 

никакого эффекта

Answer 1

Вы должны смотреть в ваши лог-файлы на вашем веб-сервере, чтобы проверить, если http://search.pch.com является User-агент из гусеничный трактор.

Используйте robot.txt (не reboot.txt) с

User-agent: * 
Disallow:/

вместо если вы хотите каких-либо ботов (что уважение robot.txt) не ползать вам страницу.

Answer 2

Первое: Имя файла должно быть robot.txt

Во-вторых, выбор его веб-сканерам ли в честь этого файла. В нем четко сказано «большая часть»

Третья и самая важная: строка пользовательского агента для PCHSearch может отличаться от ее URL-адреса. дважды проверьте строку пользовательского агента.

или вы можете использовать this код для HTAccess

# block visitors referred from indicated domains 
RewriteEngine on 
RewriteCond %{HTTP_REFERER} baddomain01\.com [NC,OR] 
RewriteCond %{HTTP_REFERER} baddomain02\.com [NC] 
RewriteRule .* - [F] 

Answer 3

это работало для меня

SetEnvIfNoCase Referer "http://search.pch\.com" bad_referer 

Order Allow,Deny 
Allow from ALL 
Deny from env=bad_referer