# Robots.txt utworzony przez generator na stronie http://www.webmaster.net.pl
# Dla strony http://www.bob.uw.edu.pl



# Zablokuj następujące boty:
User-agent: Bilbo/1.2+WAP
User-agent: Crawler V 0.2.1 admin@crawler.de
User-agent: DonQuichote/1.2a-unix Mode/Get
User-agent: Googlebot/2.0 beta (googlebot(at)googlebot.com)
User-agent: Gulliver/1.3
User-agent: Lycos_Spider_(T-Rex)
User-agent: Scooter/1.0
User-agent: Slurp/si (slurp@inktomi.com; http://www.inktomi.com/slurp.html)
User-agent: libwww-perl/5.47
Disallow: /




# Zablokuj następujące katalogi i pliki:
User-agent: *
Disallow: /_vti_cnf/
Disallow: /_vti_pvt/
Disallow: /_borders/
Disallow: /_private/
Disallow: /_themes/
Disallow: /_overlay/