# robots.txt zu http://www.hotel-gottorferhof.de/ # wo die Sitemap (absolute URL) zu finden ist... Sitemap: http://www.hotel-gottorferhof.de/sitemap.xml # alle Bots/Spider crawlen (haben Zugriff=indizieren) die Domain... User-agent: * # ...ausser (verbotene Ordner/Dateien definieren) Disallow: /cgi-bin/ Disallow: /eggi/ Disallow: /every/ Disallow: /res/ Disallow: /test/ Disallow: /tobi/ Disallow: /.index.html.service Disallow: /.info.php Disallow: /de/every/ Disallow: /de/400.html Disallow: /de/401.html Disallow: /de/403.html Disallow: /de/404.html Disallow: /de/410.html Disallow: /de/500.html Disallow: /de/bedandbreakfast.php Disallow: /de/gb.php.service Disallow: /de/gb.php.spam Disallow: /de/gb_eintrag.php Disallow: /de/gb_funktionen.php Disallow: /de/gb_pruefen.php Disallow: /en/every/ Disallow: /en/400.html Disallow: /en/401.html Disallow: /en/403.html Disallow: /en/404.html Disallow: /en/410.html Disallow: /en/500.html Disallow: /en/gb.php.service Disallow: /en/gb.php.spam Disallow: /en/gb_entry.php Disallow: /en/gb_functions.php Disallow: /en/gb_check.php # (alte) nicht mehr vorhandene Dateien Disallow: /hotel.html Disallow: /zimmer.html Disallow: /zimmer.php Disallow: /pauschalen.html Disallow: /pauschalen.php Disallow: /reservierung.php Disallow: /gb.php Disallow: /kontakt.php Disallow: /impressum.php Disallow: /en/imprint.php # alle URLs mit enthaltenem Fragezeichen werden verboten (nur Google!) User-Agent: Googlebot Disallow: /*?