Является ли htaccess защищенным паролем сайтом, скрытым от поисковых систем?

Question

У нас есть экземпляр веб-сайта в домене, который заблокирован паролем .htaccess. Некоторые IP-адреса, такие как сеть компании, разрешены.

• Там нет внешних ссылок (хотя, очевидно, не может гарантировать 100%)

• Сайт не имеет robots.txt

• роботов мета-тег установлен следовать и индекс

Со всеми этими условиями существует ли способ, которым поисковые системы могут индексировать сайт? Я думаю, что не хочу, чтобы не было никакой лазейки, о которой я не знал.

Answer 1

Страницы, защищенные паролем, не будут доступны для поиска двигателей.

Поисковые роботы, как правило, не могут входить в систему для обхода страниц, , поэтому контент за регистрацией не попадет в индекс поиска.

_{Источник: http://www.yourseoplan.com/is-password-protected-content-indexable-by-search-engines/}

Также см этот пост от Google employee:

Нет, наши сканеры не могут получить доступ к защищенным страницам входа.

_{Источник: Гэри Illyes, Google, https://productforums.google.com/forum/#!topic/news/2SdcGEWht1o}

Answer 2

Я уверен, что любой гусеничный будет остановлен до достижения любого содержания, в точке .htaccess требует пароль, видя, как это весь смысл наличия пароля .htaccess.

Если вы хотите быть излишне уверенными в образовательных целях, возможно, вы можете протестировать их из разных браузеров на частных вкладках и, возможно, отправить необработанный запрос на сокет, чтобы узнать, какой результат вы вернете. Вот страница, которая описывает, как вы бы отправить необработанный запрос HTTP: https://www3.ntu.edu.sg/home/ehchua/programming/webprogramming/HTTP_Basics.html

Вот отрывок из этой странице, где они описывают, как вы бы идти о выборке страницы на http://nowhere123.com/docs/index.html:

GET /docs/index.html HTTP/1.1 
Host: www.nowhere123.com 
Accept: image/gif, image/jpeg, */* 
Accept-Language: en-us 
Accept-Encoding: gzip, deflate 
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) 
(blank line) 

You может отправлять необработанные запросы с помощью telnet, который определенно доступен в большинстве дистрибутивов Linux и, возможно, также доступен в окнах.

Я пошел вперед и выдал этот запрос (с измененным путем и хозяином) к одному из моих собственных серверов с известным .htaccess шлюзом пароля, и получил такой ответ:

HTTP/1.0 401 Unauthorized 
Date: Fri, 24 Jun 2016 15:08:26 GMT 
WWW-Authenticate: Basic realm="Restricted Area" 
Content-Type: text/plain 
Content-Length: 19 

Invalid CredentialsConnection closed by foreign host. 

Так что ... может быть, это Вам поможет.