Создание профилей поисковой системы - доступно для поиска?

Question

В социальной сети, для пользовательских профилей, как мы создаем поисковую систему для поисковых систем, если владелец учетной записи задает конфиденциальность профиля всем? Это так же просто, как добавление тега робота на страницу? Затем, если пользователи изменят конфиденциальность, чтобы не иметь ее для поиска, мы удаляем тег? Мне нужно реализовать эту функцию на моем сайте, но я не уверен, где начать мероприятие?

Answer 1

Каждый профиль должен иметь уникальный URL-адрес. это можно сделать разными способами (например, переписать мод, ASP.NET Routing: http://msdn.microsoft.com/en-us/library/cc668201.aspx и т. д.). Если страница не должна отображаться/не публично, когда поисковая система пытается просмотреть ее, перенаправление на страницу, в которой говорится, что профиль не является общедоступным.

Answer 2

Конечно, одна вещь, которую вы хотите задать, - это Robots exclusion protocol (aka robots.txt), которая указывает, какие пути следует игнорировать поисковыми роботами; вы должны иметь возможность обновлять эту настройку для каждого пользователя, чтобы запретить сканирование в будущем.

Вы также можете посмотреть функцию Google Sitemaps; это позволяет вам предлагать Google - даже для списков страниц, которые сильно меняют - какие URL-адреса (в вашем случае URL-адреса ваших профилей пользователей) Google должны сканировать. Как они отмечают, это не гарантирует, что каждый URL будет сканироваться, но он должен помочь.

У меня нет ответа, и мне было бы очень интересно узнать больше о том, что это протокол для запроса поисковой системы удалить URL-адреса, которые он уже сканировал. Насколько я знаю, удаление страницы из файла robots.txt и sitemap.xml не заставит Google удалить эту страницу из своего индекса, но будет только постепенно обрезаться, поскольку поисковая система решит, что она устарела. С другой стороны, ваши пользователи, вероятно, захотят, чтобы их страницы не были доступны для поиска, как только они проверили это предпочтение. Возможно, вам просто нужно обучить пользователей этому различию, но мне также будет любопытно, если это программные способы справиться с этим. (Например, я считаю, что Twitter имеет возможность попросить Google прекратить возвращать твит в результатах поиска после его удаления.)