# Anleitung und Syntax für das robots.txt File finden sich unter http://www.robotstxt.org/wc/norobots.html

User-agent: *                        # ab hier gilt es für alle Spiders
Disallow: /ftp/
Disallow: /cgi-bin/

# Rover is a bad dog <http://www.roverbot.com> als Beispiel wie man einen einzelnen ausschliesst
User-agent: Roverbot
Disallow: /