My robots.txt содержит следующие правила:Карта сайта/robots.txt конфигурация конфликта
Disallow: /api/
Allow:/
Allow: /apiDocs
/apiDocs URL в карте сайта, но в соответствии с Google Webmaster Tools, эти robots.txt правила запрещают сканирование сайта. Я хочу запретить обход всех URL-адресов, которые соответствуют /api/*, но разрешить обход URL-адреса /apiDocs.
Как сменить мой robots.txt, чтобы достичь этого?
разрывы строки не допускаются в записи (у вас есть один между вашими Disallow и двумя Allow линиями).
Вам не нужно Allow: / (это то же самое, что и Disallow:, что по умолчанию).
Вы запретить сканирование /api/ (который является любой URL, чей путь начинается с «апи», а затем «/»), так что нет никакой необходимости в Allow: /apiDocs, как это разрешено в любом случае.
Таким образом, ваша резервная запись должна выглядеть следующим образом:
User-Agent: *
Disallow: /login/
Disallow: /logout/
Disallow: /admin/
Disallow: /error/
Disallow: /festival/subscriptions
Disallow: /artistSubscription
Disallow: /privacy
Disallow: /terms
Disallow: /static
Disallow: /api/
Когда бот соответствует этой «запасной» записи, разрешаются сканировать URL, чьи пути начинаются с apiDocs.