Faili kasutatakse veebipõhiste botside suunamiseks või ütlemiseks, millised leheküljed ja kataloogid indekseerida või mitte. See fail tuleb paigutada teie veebilehte hostiva serveri juurkataloogi. Fail peaks olema robots.txt ja sellel peaks olema lugemisõigused. Allpool on näide robots.txt-failist.

 # robots.txt fail //www.computerhope.comUser-agent: * Disallow: / directory1 / 
Keela: / kataloog2 /

Ülaltoodud robots.txt näites on esimene rida fail, mis kirjeldab faili. Seejärel ütleb kasutaja-agent rida, millised robotid või robotid peaksid järgima faili seda osa. Ülaltoodud näites tähistab * kõiki robotid. Lõpuks, kaks järgmist rida on kaks kataloogi, mida soovite, et botid ei indeksiks.

Kui soovite lubada botil küsida kõiki teie veebisaidi URL-e, sisestage boti nimi ja seejärel keelake: tühja väärtusega, nagu on näha allpool toodud näites.

 Kasutajaagent: Somebot *
Keela: 

Interneti-terminid, meta-märgendid, robot, SEO-terminid, saidi kaart, veebidisaini tingimused