Robots.txt и подпапки

Несколько доменов настроены как дополнения к моей основной учетной записи хостинга (общий хостинг).Robots.txt и подпапки

структура каталогов выглядит следующим образом (первичный домен example.com):

public_html (example.com)
_sub
- EX1 -> отображается в качестве примера -realtor.com
- ех2 -> отображается как example-author.com
- EX3 -> отображается как example-blogger.com

(требование так используйте example, так как домен делает объяснение более сложным - например, sub ex1 может указывать на plutorealty, а ex2 может указывать на amazon или какой-либо другой бизнес-хостинг со мной. Дело в том, что каждый ex # является сайтом другой компании, поэтому мысленно заменяет что-то нормальное и другое для каждого «примера»)

Поскольку эти домены (ex1, ex2 и т. Д.) Являются дополнительными доменами, они доступны двумя способами (в идеале, второй метод известен только мне):

(1) http://example1.com
(2) http://example.com/_sub/ex1/index.php

Опять example1.com это совершенно не связано сайт/доменное имя от example.com

ВОПРОСЫ:

(а) Как сайт индексируется в поисковых системах? Будут ли отображаться как (1), так и (2) в результатах поиска? Это нежелательно для метода 2, чтобы показать в гугле)

(б) Должен ли я поставить robots.txt в public_html, который запрещает каждую папку в папке _sub? Например:

User-agent: * 
Disallow: /_sub/ 
Disallow: /_sub/ex1/ 
Disallow: /_sub/ex2/ 
Disallow: /_sub/ex3/

источник

2015-11-26 crashwap

Я голосую за то, чтобы закрыть этот вопрос как не по теме, потому что речь идет о seo –

Это robots.txt будет достаточно, вы не должны перечислить все, что приходит после /_sub/:

User-agent: * 
Disallow: /_sub/

Это запретить ботам (которые чтут robots.txt) для сканирования любого URL-адреса, путь которого начинается с /_sub/. Но это не обязательно останавливает этих ботов, чтобы индексировать ваш URL-адрес (например, перечислить их в результатах поиска).

В идеале, необходимо перенаправить с http://example.com/_sub/ex1/ по отношению к http://example1.com/ с помощью HTTP status code 301. Это зависит от вашего сервера, как это работает (для Apache вы можете использовать .htaccess). Затем все заканчиваются каноническим URL-адресом вашего сайта.

источник

2015-11-27 10:08:23 unor

Спасибо за это. Я все еще не совсем понимаю: если я 'Disallow:/_sub /' будет ли запрещен домен, связанный с этой папкой? (Не основной домен для учетной записи хостинга, а конкретный домен, указывающий только на эту папку - тот, который настроен как поддомен на учетной записи хостинга). Я обновил исходный вопрос, чтобы выделить проблему с несколькими доменами, связанными с одной хостинг-аккаунт. – crashwap

@crashwap: файл robots.txt всегда доступен для хоста, из которого он доступен. Итак, для 'http: // example.com/_sub/ex1/index.php', боты будут смотреть на http: // example.com/robots.txt' для файла robots.txt (который вы хотите), и для 'http: // example1.com /' они будут смотреть на 'http: // example1.com/ robots.txt' (что не повредит, если у вас также нет URL-адресов, начинающихся с'/_sub/'там) , - Обратите внимание, что вам не нужно возиться с robots.txt, если вы перейдете с предпочтительным способом перенаправления на канонический URL. – unor

Итак, ** (1) **, если я запретил '/ _sub/ex1 /' на example.com, что не повлияет на ex1-realtor.com, когда googlebot сканирует * этот * домен * (в ситуации, когда ex1-realtor .com указывает на папку example.com/_sub/ex1) * и ** (2) ** только ex1-realtor.com будет отображаться в результатах Google (например, 'example.com/_sub/ex1' также не будет отображается? – crashwap

Не используйте возможности нескольких сайтов с помощью Google. Эффект Google Ranking для основного домена. Если черная шляпа и Spam генерируют сайты подкаталогов.

Мое предложение Если вам нужен важный сайт в подкатегориях, то поставьте все субдомен noindex.

Робот.TXT

User-agent: * 
Disallow: /_sub/ 
Disallow: /_sub/ex1/ 
Disallow: /_sub/ex2/ 
Disallow: /_sub/ex3/

источник

2015-11-26 16:14:09

Robots.txt и подпапки

ответ

Смежные вопросы