# robots.txt fuer http://www.betau.de
User-agent:*
Disallow: /admin/      # Die Dateien sind sehr kurzlebig
Disallow: /logfiles/   # Die ändern sich jeden Tag
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren
Disallow: /news.html   # Die news.html ändert sich täglich