Проверить конкретный текст в Robots.txt

Мой URL заканчивается &content=Search. Я хочу заблокировать все URL-адреса, которые заканчиваются этим. Я добавил следующее в файле robots.txt.Проверить конкретный текст в Robots.txt

User-agent: * 
Disallow: 
Sitemap: http://local.com/sitemap.xml 
Sitemap: http://local.com/en/sitemap.xml 
Disallow: /*&content=Search$

Но это не работает при тестировании /en/search?q=terms#currentYear=2015&content=search в https://webmaster.yandex.com/robots.xml. Это не работает для меня, потому что content=search после # персонаж.

источник

2015-10-05 Namita Roy

Как вы тестируете/знаете, что он не работает? – unor

@unor Я тестировал его на странице «https://webmaster.yandex.com/robots.xml#results» –

Тестирование '/ foobar & content = Search' с этой проверкой работает для меня:« заблокировано по правилу '/ * & content = Search $ '». – unor

Yandex Robots.txt analysis будет блокировать ваш пример, если тест на Search вместо search, так как Robots.txt Disallow значения чувствительны к регистру.

Если ваш сайт использует регистронезависимых URL-адресов, вы можете использовать:

User-agent: * 
Disallow: /*&content=Search$ 
Disallow: /*&content=search$ 
# and possibly also =SEARCH, =SEarch, etc.

Сказав это, я не знаю, если Яндекс действительно поддерживает это для фрагментов URL (это было бы необычно, я догадка), хотя их инструмент дает такое впечатление.

источник

2015-10-06 13:39:44 unor

Проверить конкретный текст в Robots.txt

ответ

Смежные вопросы