Я хочу, чтобы мой robot.txt разрешил индексировать только мой индексный файл в google. Как это выглядит?

Я хочу, чтобы мой robot.txt разрешил индексировать только мой индексный файл в google. Как это выглядит? Будут ли следующие трюки?Я хочу, чтобы мой robot.txt разрешил индексировать только мой индексный файл в google. Как это выглядит?

User-agent: Google 
Disallow: /_/ 
Disallow: /library/ 
Disallow: /media/ 
Disallow: /www/ 

User-agent: * 
Disallow:/

2010-09-22 Wilson

Попробуйте

User-agent: Google 
    Disallow:/
    Allow: /index.php 
    Allow: /$ #this will allow your homepage as well**

**, но его лучше использовать Htaccess перенаправление, чтобы перенаправить example.com на example.com/index.php. Во избежание дублирования URL.

2010-09-22 00:40:39

Как насчет отказа от других роботов, кроме Google? – Wilson

Также будет указатель google http://example.com/ или http://example.com/index.php или оба? – Wilson

он будет работать только для index.php, ведь это лучшая практика, потому что вы избегаете дублирования. проверить отредактированный –

ответ