Как правильно написать файл robots.txt? Ответы и рекомендации на этот вопрос.

Правильный robots.txt