Robot.txt
Robot.txt, tekst file leesbaar voor crawlers, die bepaalde instructies bevat voor deze crawlers. Elke zoekmachine heeft haar eigen crawler (zoekrobot of robot) met een eigen identificatie/naam. Veelal is de enige werkende instructie het uitsluiten van delen van de website voor indexatie. Andere instructies werken veelal niet meer.
