Я использовалИспользование «Запретить:/*?» в файле robots.txt
Disallow: /*?
в файле robots.txt, чтобы запретить все страницы, которые могут содержать «?» в URL.
Правильно ли это синтаксис, или я блокирую другие страницы?
Это зависит от бота.
Боты, которые следуют оригинальной спецификации robots.txt, не дают * любого специального значения. Эти боты блокировали бы любой URL, путь которого начинается с /*, за которым следует ?, например, http://example.com/*?foo.
Некоторые боты, в том числе робот Google, дают персонажу * особое значение. Обычно это означает любую последовательность символов. Эти боты заблокировали бы то, что вы, похоже, намерены: любой URL-адрес с ?.
Google’s robots.txt documentation включает в себя этот самый случай:
Чтобы заблокировать доступ ко всем URL, которые включают знаки вопроса (
?). Например, примеры кода блокирует URL-адреса, которые начинаются с имени домена, а затем любую строку, а затем знак вопроса, и заканчивая любой строкой:User-agent: Googlebot Disallow: /*?