Robots.txt — текстовый файл, расположенный в корневом каталоге вашего сайта, содержащий инструкции, указывающие поисковым машинам (Google, Yandex), какие именно части ресурса индексировать, а какие нет. Поисковый робот, зашедший на Ваш сайт в первую очередь ищет эти самые инструкции, т.е. файл robots.txt, поэтому каждый уважающий себя вэб-мастер должен иметь его у себя на сайте. Так же данный файл указывает поисковым системам, где расположен файл карты сайта (sitemap.xml).
Итак, наша цель — прописать корректные параметры в robots.txt для Вашего ресурса