#
# Diese Datei regelt die Indexierung dieser Website.
#
# Eine liste mit allen Robots: http://www.robotstxt.org/wc/active/html/index.html
#
# Die robots.txt kann hier geprüft werden:
# http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
#

#
## Angabe der Sitemap ist Agent-unabhaengig 
#

#Sitemap: http://www.website.de/sitemap.xml



#
## Bestimmte Verzeichnisse vor Indexierung ausschließen
#

User-agent: *
Disallow: /pages/
Disallow: /library/javascripts/
Disallow: /library/stylesheets/
Disallow: /Templates/
Disallow: /*sid=*



#
## SPAM-Crawler und nicht gewollte Spider versuchen fernzuhalten
#

User-agent: Teleport* 
Disallow: / 
User-agent: Webwhacker* 
Disallow: / 
User-agent: Webzip* 
Disallow: / 
User-agent: Net Attache* 
Disallow: / 
User-agent: SiteSnagger* 
Disallow: / 
User-agent: HTTrack* 
Disallow: / 
User-agent: WebCapture* 
Disallow: / 
User-agent: WebSauger* 
Disallow: / 
User-agent: WebReaper* 
Disallow: / 
User-agent: Roverbot*
Disallow: /
User-agent: VoilaBot*
Disallow: /
User-agent: Voilabot*
Disallow: /
User-agent: VoilaBot BETA 1.2*
Disallow: /