Robots.txt

Robots.txt impiedica indexarea si vizitarea anumitor pagini ale unui site de catre Roboti precum cei ai Google, Yahoo. De obicei aceste pagini nu trebuiesc vazute, nu sunt importante sau ar putea aduce rezultate negative pozitionarilor. De asemenea spunandu-le Robotilor unde sa nu se duca pe site se salveaza lungime de banda si resurse de server.

Example de implementare a functiei robots.txt*:

daca robotul poate vizita toate paginile:
User-agent: *
Disallow:

daca niciunui robot nu-i este permis accesul:
User-agent: *
Disallow: /

pentru ca robotii sa nu intre in urmatoarele 4 directoare ale sitelui:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

niciun robot nu poate intra intr-un anumit fisier:
User-agent: *
Disallow: /directory/file.html


*http://en.wikipedia.org/wiki/Robots_exclusion_standard