User-Agent: *
# całego admina
Disallow: /bip_kluczewsko/cms/
# niektóre pliki serwisu
Disallow: /bip_kluczewsko/calendar_widget.jsp
Disallow: /bip_kluczewsko/confirmNewsletter.jsp
Disallow: /bip_kluczewsko/javascript.jsp
Disallow: /bip_kluczewsko/print.jsp
Disallow: /bip_kluczewsko/profile.jsp
Disallow: /bip_kluczewsko/registrationChange.jsp
Disallow: /bip_kluczewsko/registration.jsp
Disallow: /bip_kluczewsko/reminder.jsp
Disallow: /bip_kluczewsko/sending.jsp
Disallow: /bip_kluczewsko/sendingM.jsp
Disallow: /bip_kluczewsko/send.jsp
Disallow: /bip_kluczewsko/stats.jsp
Disallow: /bip_kluczewsko/userPasswordChange.jsp
# niektóre elementy serwisu
Disallow: /_cSs/
Disallow: /_iMg/
Disallow: /_jS/
Disallow: /_uTils/
# pozwala odwiedzac robotom serwis tylko w okreslonych godzinach
# domyslnie ustawiamy od 1:00 do 3:30
Visit-time: 0100-0330
# url do "sitemap" googla, uwaga musi byc pelna sciezka
#Sitemap: http://eo.pl/sitemap.xml
# ile stron co ile sekund (tutaj, 1 strona na 2 sekundy
Request-rate: 1/2
# jakia przerwa przerwa dla zakonczonego sukcesem pobrania
# przyjeto 5 s
Crawl-delay: 5