Fișier folosit pentru a direcționa sau a spune bots web ce pagini și directoare să indice sau nu index. Acest fișier trebuie plasat în directorul rădăcină de pe serverul care găzduiește paginile dvs. Fișierul ar trebui să fie numit robots.txt și ar trebui să aibă permisiuni de citire. Mai jos este un exemplu de fișier robots.txt.

 # fișier robots.txt pentru //www.computerhope.comUtilizator: * Disallow: / directory1 / 
Dezactivați: / directory2 /

În exemplul robots.txt de mai sus, prima linie este o instrucțiune neexecutabilă care descrie fișierul. Apoi, linia User-agent indică ce roboți sau roboți ar trebui să urmeze această secțiune a fișierului. În exemplul de mai sus, * reprezintă toate bots. În cele din urmă, următoarele două linii sunt cele două directoare pe care doriți ca boturile să nu le indexeze.

Dacă doriți să permiteți botului să interogheze toate adresele URL din site-ul dvs., introduceți numele botului urmat de dezactivare: cu o valoare necompletată, așa cum se vede în exemplul de mai jos.

 Agent-utilizator: Somebot *
Disallow: 

Termeni de internet, tag-uri Meta, robot, termeni SEO, harta site-ului, termeni de web design