Я хочу, чтобы запретить поисковым роботам, чтобы получить доступ ко всему домену, включая поддомены с помощью robots.txt и потенциально .htaccessсубдоменов Боты поиска Disallow через robots.txt
Я хочу, чтобы убедиться, что любые новые субдоменов в будущем блокируются без каждый раз создавать его в корне поддомена.
Возможно ли это?
Если вы хотите заблокировать роботы через robots.txt, вам нужно будет создать его для каждого поддомена. Я предлагаю сценарий, который контролирует ваш файл зоны, а затем автоматически создает его.
Другим решением является использование HTTP Basic Auth. Это заблокирует доступ всех ботов к CNAME, но для этого потребуется, чтобы пользователи вводили имя пользователя и пароль.
Или вы можете использовать IP-таблицы для ограничения доступа по IP-диапазону.
Существует множество решений, которые вы можете использовать для предотвращения доступа роботов к вашим CNAME, и есть еще больше решений, которые мешают поисковым системам добавлять ваши страницы в свой индекс.
Это зависит от того, кого вы хотите разрешить (хорошие боты, плохие боты, пользователи и т. Д.), Которые будут определять, какие решения вы будете использовать.
Зависит от конфигурации ваших виртуальных хостов. – Gerben
Как изменить конфигурацию в WHM или cPanel? –
Если вы не знакомы с ними. Поддомены разделяют один и тот же корень документа как основной? – Gerben