Zoekmachines maken gebruik van software agents, ook wel robots of spiders genoemd. Dit zijn programma's die dag en nacht het internet afzoeken naar nieuwe websites of veranderingen aan websites. Als je site wordt herkend als iets nieuws, wordt deze toegevoegd aan de database van zo'n zoekmachine.
Doordat de zoekmachine-spiders de links op de pagina´s kunnen volgen komen ze weer uit op andere pagina´s waardoor zo het hele internet wordt afgezocht.
Met behulp van de 'robots' META tag geef je aan wat de robot van sommige zoekmachines mag doen zodra deze jouw site heeft gevonden. Mag hij jouw volledige site indexeren en alle links naar andere pagina's volgen? Of wil je liever niet dat een zoekmachine jouw site indexeert omdat deze bijvoorbeeld van persoonlijke aard is en niet gevonden hoeft te worden?
Author: Jeroen Hoekstra | 
Bij een op het eerste gezicht perfect geoptimaliseerde site slaagde ik er niet in om de site ook effectief te laten indexeren door Google. Ik wist er me geen raad mee totdat ik ontdekte dat een ontbrekende "robots.txt" aan de basis van alle ellende lag.