Разрешить поисковой системе сканировать имена пользователей

Question

У меня есть сайт, на котором пользователи могут вводить свой профиль и защищать паролем определенные детали. Я бы хотел, чтобы поисковые системы обходили «незащищенные» части профиля (который варьируется от пользователя к пользователю). Подобно тому, как если вы вводите имя пользователя в facebook, в результатах поиска появляется их профиль на Facebook. Должен ли я сделать что-нибудь особенное, чтобы гарантировать, что бот не сканирует разделы, защищенные паролем, но все же сканирует (всегда-общедоступное) имя пользователя? Я не уверен, что это даже проблема, но я бы хотел обновить файл robots.txt, чтобы это разрешить.

Также, как я могу гарантировать, что имена пользователей доступны для ботов (безопасным образом)? Должен ли я создать отдельный каталог со списком имен или есть лучший способ?

Спасибо за любые советы

Answer 1

Поисковые системы будут индексировать только то, что анонимный пользователь видит. Если вы этого еще не сделали, я бы создал страницу списка, чтобы просмотреть профили пользователей, в которых вы только показываете данные, которые хотите. Это гарантирует, что связь существует для каждых , которые у вас есть. Пауки поисковых систем не смогут увидеть данные, находящиеся за защищенным паролем.

Я бы также добавил карту сайта, чтобы поисковые роботы попали на страницу с листингом. Не предполагайте, что Google волшебным образом найдет ВСЕ ваши страницы, хотя обычно они работают на основе ссылок на ваш контент. Отправьте карту сайта в Google.

Редактировать относительно Карты и Поиск по сайту Результаты
для того, чтобы пауки ползать результаты поиска, я бы указать учетную запись в карте сайта, который указывает пауков на странице результатов поиска, которая отображает все (например, search.aspx? пары = все).

Answer 2

Вам не нужно ничего делать. Поисковые боты не смогут получить доступ к вашим защищенным страницам, пока они не получат доступ к публичному контенту, если вы явно не запретите его на robots.txt.