# robots.txt
# http://www.beratungsprotokoll-faq.de
# 2010-04-11




# Disallow
# ========
# Robots.txt wird  von folgende Bots nicht respektiert:
# BotOnParade, Cligoo, Java (inkl Klone), Nutch (inkl Klone), Purebot, Wget, Yandex
# diese Bots wurden hier wieder entfernt und dafür in die .htaccess aufgenommen

User-agent: 008
Disallow: /
# http://www.80legs.com/spider.html

User-agent: Baiduspider
Disallow: /

User-agent: CatchBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ccbot
Disallow: /

User-agent: cityreview
Disallow: /

User-agent: daumoa
Disallow: /

User-agent: envolk
Disallow: /

User-agent: Eurobot
Disallow: /

User-agent: Exabot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: Gigabot
Disallow: /

User-agent: gonzo
Disallow: /

User-agent: ICCrawler - iCjobs
Disallow: /

User-agent: jobs.de-Robot
Disallow: /
#http://www.neofonie.de/spider.jsp

User-agent: KaloogaBot
Disallow: /

User-agent: libwww
Disallow: /

User-agent: LinguaBot
Disallow: /

User-agent: Linguee
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-Agent: MSIECrawler
Disallow: /

User-agent: Naver
Disallow: /
# Klon: Yeti (s unten)
# Hinweis: "NHN"

User-agent: Neofonie
Disallow: /
#http://www.neofonie.de/spider.jsp

User-agent: NetcraftSurveyAgent
Disallow: /

User-agent: psbot
Disallow: /

User-agent: ScoutJet
Disallow: /

User-agent: Sosospider
Disallow: /

User-agent: spbot
Disallow: /

User-agent: Speedy
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: Twiceler
Disallow: /

User-agent: VEDENSBOT
Disallow: /

User-agent: VoilaBot
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: Yeti
Disallow: /
# Klon von NaverBot (s oben)

User-agent: YoudaoBot
Disallow: /

User-agent: *
Disallow:




# Sitemap-Adresse
# ===============

#Sitemap: http://www.beratungsprotokoll-faq.de/sitemap.xml