Если вы добавляете свой сайт в гугл или яндекс то вам необходимы Sitemap и robots.txt так как если в например гугл вы добавите сайт без Sitemap то бот гугла зайдёт только на первую страничку вашего сайта и всё 
но если вы всётаки добавили Sitemap и гугл его принял тогда всё ok. Но бывает такие случи когда гугл неберёт ваш Sitemap тогда Sitemap лучше создать с помощью Сервиса после загрузить себе на в корень сайта и добавить сылку в гугл. 
Описание формата файла robots.txt Файл robots.txt состоит из записей, каждая из которых состоит из двух полей: строки с названием клиентского приложения (user-agent), и одной или нескольких строк, начинающихся с директивы Disallow:
Директива ":" значение
Robots.txt должен создаваться в текстовом формате Unix. Большинство хороших текстовых редакторов уже умеют превращать символы перевода строки Windows в Unix. Либо ваш FTP-клиент должен уметь это делать. Для редактирования не пытайтесь пользоваться HTML-редактором, особенно таким, который не имеет текстового режима отображения кода.
Создать Robots текс
