A robots.txt файл читается веб-сканерами/роботами, чтобы разрешить/запретить его очищать ресурсы на вашем сервере. Однако для робота не обязательно читать этот файл, но хорошие. Есть некоторые дополнительные примеры в http://en.wikipedia.org/wiki/Robots.txt Пример файла может выглядеть и будет находиться в каталоге корневой веб:
User-agent: * # All robots
Disallow:/ # Do not enter website
или
User-Agent: googlebot # For this robot
Disallow: /something # do not enter
apple-touch-icon-precomposed.png объясняется https://stackoverflow.com/a/12683605/722238
Я считаю, что использование missing.html используется некоторыми как настроенная страница 404. Возможно, что робот может быть настроен на очистку этого файла, следовательно, запросы на него.
Вы должны добавить файл robots.txt, если хотите управлять ресурсами, которые робот соскочит с вашего сервера. Как уже было сказано, роботу не обязательно читать этот файл.
Если вы хотите добавить два других файла, чтобы удалить сообщения об ошибках, которые могли бы, однако, я не считаю, что это необходимо. Нечего сказать, что joe_random не сделает запрос на вашем сервере для /somerandomfile.txt, и в этом случае вы получите другое сообщение об ошибке для другого файла, который не существует. Затем вы можете просто перенаправить их на настраиваемую страницу 404.