Наш сайт использует только https, поэтому все, что HTTP получает принудительно использовать https. Но есть еще некоторые боты, которые хотят проникнуть через http.Robots.txt - разрешить ботам посещать только через htts
Я искал, но не смог найти простой способ сделать это.
Так что мой вопрос, что я должен написать robots.txt, так что я разрешить только HTTPS
Написать жесткий 302 перенаправление на HTTPS. Если есть только HTTP-бот, это не бот поисковой системы. Google, Yahoo и Bing принимают только https. Вы можете игнорировать всех других ботов.
Если вы используете HTTP 301 для перенаправления с HTTP на HTTPS, способные боты заметят перенаправление (и, в зависимости от цели бота, следуют за ним, обновляют свой индекс и т. Д.). Если вы хотите запретить сканирование URL-адресов HTTP, обратите внимание, что боты не смогут узнать, что страницы теперь имеют новые URL-адреса, потому что им не разрешен доступ к ним, чтобы заметить перенаправление (в случае, если у вас есть или есть HTTP-ссылки).
Если вы все еще хотите запретить сканирование HTTP URL, поместите следующий файл robots.txt в http://example.com/ (или http://www.example.com/ или независимо от вашего хоста) и сделать не перенаправить этот конкретный URL для https://example.com/robots.txt.
User-agent: *
Disallow:/