Исключить определенные папки при сканировании?

Question

Я хочу, чтобы мои пользовательские папки не сканировались поисковым пауком.

Структура выглядит следующим образом. Учетные записи пользователей находятся под

www.mydomain.com/username 

Проблема заключается в том, что я не могу исключить «/» в неразрешенной части моего файла robots.txt, потому что есть и другие папки, как

www.mydomain.com/legal 
www.mydomain.com/privacy 

Там находятся также элементы, которые через пользователь может генерировать, который должен быть сканируемым. Они находятся под

www.mydomain.com/username/items/itemId 

Как я должен настроить мои роботы Txt для этого сценария?

Answer 1

Проверь следующий вопрос ответил, может быть, это может решить ваше:

Robots.txt Disallow Certain Folder Names

Надеется, что это помогает.

EDIT

см следующий ответил на вопрос, с тем чтобы исключить папку, но не его Чайлдс

Robots.txt Allow sub folder but not the parent

и вы должны также рассмотреть возможность использования структуры следующим образом:

mydomain.com/users/user1/subfolder 
mydomain.com/users/user2/subfolder 

, чтобы точно настроить ваши правила.

Answer 2

Если возможно, вам следует следовать предложению таксиста, чтобы изменить структуру вашего каталога.

Если вы совершенно не можете изменить структуру каталогов, вы можете использовать директиву разрешить и подстановочные знаки, чтобы иметь дело с обеими проблемами:

User-agent: * 
Allow: /legal$ 
Allow: /privacy$ 
Allow: /*/items/ 
Disallow:/

Просто надо знать, что не все роботы поддерживают этот синтаксис. Это определенно будет работать для всех основных поисковых систем, но это может не работать для некоторых старых роботов. Кроме того, это не особенно перспективно. Если позже вы добавите новые страницы верхнего уровня и вы забудете добавить их в файл robots.txt, они будут заблокированы. Идеальный подход - использовать структуру каталогов, которая изолирует то, что вы хотите заблокировать, от того, что вы не делаете.