5
Я делаю приложение, которое время от времени обходит сайт, и я хотел бы, чтобы он подчинялся/уважал от сканируемого сайта. Как мне начать с этого? Есть ли идеи, как это сделать?Как я подчиняюсь robots.txt
Заранее спасибо.
http://www.the-art-of-web.com/php/parse-robots/ – marcog
Это была хорошая ссылка – andrewk