Tipps & Tricks 16.10.2003, 14:00 Uhr

Webseite vor Suchmaschinen verstecken

Ich führe eine eigene Homepage und habe bereits mehrmals festgestellt, dass einige Leute über eine Suchmaschine auf meine Homepage zugegriffen haben. Besteht irgendwie die Möglichkeit, z. B. durch zusätzliche Befehle im HTML-Code, es zu unterbinden, dass eine Suchmaschine die Homepage findet?
Um zu verhindern, dass Suchmaschinen eine Homepage indizieren und in ihre Datenbank aufnehmen, gibt es zwei Möglichkeiten:
Man erstellt im Hauptverzeichnis eine Textdatei namens "robots.txt", mit der man bestimmte Verzeichnisse oder Dateien für Suchmaschinen sperren kann. In folgendem Beispiel wird das Unterverzeichnis "privat" sowie die Webseite "geheim.htm" gesperrt:
User-agent: *
Disallow: /privat/
Disallow: /geheim.htm
Wollen Sie den gesamten Inhalt des Ordners vor dem Eintrag in Suchmaschinen schützen, muss der Inhalt der Textdatei folgendermassen lauten:
User-agent: *
Disallow: /
Da diese Datei jedoch im Hauptverzeichnis (www.domain.ch/robots.txt) abgelegt werden muss, und pro Domain nur eine robots.txt erlaubt ist, setzt dies voraus, dass Sie mit Ihrer Homepage über eine eigene Domain verfügen.
Wenn Sie Ihre Webseite beispielsweise bei einem Gratis-Anbieter untergebracht haben und nur Dateien in Ihrem Unterverzeichnis (z.B. www.domain.ch/MeineHomePage/) ändern dürfen, müssen Sie sich mit der zweiten Methode begnügen. Weitere Infos zu der Robots-Datei finden Sie bei devmag.net [1].
Eine andere Möglichkeit, einer Suchmaschine mitzuteilen, dass Sie diese Seite nicht in ihr Verzeichnis aufnehmen soll, ist ein Meta-Tag [2]. Platzieren Sie in jeder Webseite, die gesperrt werden soll, den untenstehenden Meta-Tag im Header:
<head>
<title> ... </title>
<meta name="robots" content="noindex, nofollow">
</head>
Der Meta-Tag teilt dem Suchroboter mit, die Seite nicht aufzunehmen und keinen Links auf der Seite zu folgen.



Kommentare
Es sind keine Kommentare vorhanden.