So steuern Sie Suchmaschinen präzise mit robots.txt

Was ist robots.txt?

Für diese Frage ist zunächst ein Verständnis über die .txt-Dateien notwendig. Es handelt es sich um ein Programm, welches normale Textzeichen enthält und einen nicht-formatierten Text besitzt. Nahezu alle Textverarbeitungs-Programme können diesen Code lesen. Und auf fast jedem Rechner befindet sich so ein Verarbeitungs-Programm, mit dem Sie diese Dateien erstellen können. Bei robots handelt es sich demnach um eine .txt-Datei.

Der Betreiber einer Internetseite platziert dieses Programm extra für Google oder andere Suchmaschinen. Die Suchmaschinen-Unternehmen nutzen sogenannte Crawler oder Suchmaschinen-Bots. Das sind Anwendungen, die das World Wide Web nach Änderungen durchforsten und den Webseiten eine Bewertung abgeben. Daraus leiten Sie eine Reihenfolge ab, in der die Suchergebnisse für Suchanfragen erscheinen sollen. Dieses Ranking hängt von weit über 200 Parametern ab, die die Suchmaschinen-Bots von Ihrer Seite extrahieren und auswerten. Ihre Roboter-Datei gibt den Suchmaschinen vor, wie sie mit den Inhalten der Webseite umgehen sollen. Beispielsweise durch das Hinzufügen oder das Ausschließen von Inhalten können Sie positiven Einfluss auf Ihre Bewertung üben.

Nutzen der robots.txt Datei

Im Folgenden gehen wir näher auf die wichtigsten Vorteile dieser Textdatei ein. Diese sind aber nicht die einzigen Vorzüge. Daneben kann es noch weitere Punkte geben.

Webseite vor Google verstecken? – So geht‘s

Mittels Kennzeichnen von speziellen Begriffen können Sie die Crawler anweisen, was für Seiten diese nicht lesen sollen. Es scheint paradox: Warum sollten Sie Inhalt vor Suchmaschinen verstecken? Dieser Nutzen ist Gold wert, wenn Sie das Kundenprofil kennen. Sie steuern damit, was für einen Kundentyp Sie auf Ihre Webseite zulassen und welchen Sie abhalten. Zudem können Sie eigene Unterseiten oder Dateien ausschließen, welche Sie nicht in der Bewertung des Rankings haben wollen. Die Qualität des auf Ihrer Seite gelangenden potenziellen Kunden erhöht sich. Sie selektieren die ungeeigneten Klienten aus und lassen diejenigen zu, die eher Ihr Produkt erwerben möchten. Für das SEO ist dieses Vorgehen demnach sehr nützlich.

Kommunizieren Sie den Standort der Sitemap

Vor allem wenn Sie eine umfangreichere Seite mit vielen Verzweigungen haben, so bietet sich der Einsatz des digitalen Roboters an. Er kann Ihrer Internetpräsenz eine Struktur verschaffen und vereinfacht es dem Crawler, die Webseite zu lesen. Die Ordnung der Seite ist ein Einflussfaktor für das Ranking. Als Ergebnis erhöht sich die Sichtbarkeit, weil die Suchmaschinen die Webseite besser bewerten.

Vermeidung doppelter Inhalte

Gelegentlich kommt es vor, dass Crawler Inhalte auf der Seite doppelt ablesen. Darunter leidet das Ranking, da Wiederholungen als negativer Bewertungsfaktor in die Bewertung einfließen. Um das zu verhindern, schafft die robots-Datei Abhilfe. Sie kann Suchmaschinen auffordern, Iterationen bei dem Auslesen zu vermeiden und die Seite richtig zu scannen. Es ist somit wichtiger Bestandteil bei einer professionellen SEO Analyse.

So implementieren Sie die robots.txt Datei

Mit einem beliebigen Textverarbeitungs-Programm oder Editor können Sie diese robots-Datei erstellen. Damit die Suchmaschinen den digitalen Helfer auffinden, ist es wichtig den Programmcode im Wurzelverzeichnis zu speichern. Falls Ihre Seite beispiel.de heißt, so ist die Datei unter beispiel.de/robots.txt abzulegen. Weiterhin können Sie in diesem Programm spezielle Befehle angeben, die den Suchprogrammen anweisen, wie sie mit Ihrer Webseite umgehen sollen.

Im ersten Schritt legen Sie mit dem User-agent-Befehl fest, welchen Crawler von welcher Suchmaschine Sie wie beschränken wollen. Falls es konkret um Anweisungen an Google geht, so schreiben Sie in der ersten Zeile: User-agent: google.

Die Allow- und Disallow-Attribute sind die wichtigsten Anweisungen. Diese fügen Sie unter dem User-agent-Befehl hinzu. Sie geben an, was der Crawler lesen soll und was nicht. Beispielsweise wollen Sie nicht, dass Suchmaschinen Ihre Kontaktseite auswerten. Setzen Sie in diesem Fall in dem Programmcode Disallow: /kontakt/, so wird die Suchmaschine beim nächsten Auswerten Ihrer Seite diesen Teil ignorieren. Aber Vorsicht: Sämtliche Seiten, welche unterhalb von beispiel.de/kontakt liegen, schließt dieser Befehl auch aus. Um das zu verhindern, gibt es die Allow-Anweisung. In diesem Beispiel würden Sie Allow: /kontakt/impressum/ hinzufügen, um die Unterseite beispiel.de/kontakt/impressum wieder in die Bewertung einzuschließen.

Ein weiterer wichtiger Befehl ist Sitemap. Anders als die robots-Datei können Sie die Struktur Ihrer Internetpräsenz im .xml-Format an einer beliebigen Stelle im Verzeichnis speichern. Geben Sie einfach in der robots-Datei nach dem Befehl Sitemap den Ort dieser Datei an.

Insgesamt sieht in diesem hypothetischen Beispiel die robots-Datei wiefolgt aus:
User-agent: google
Disallow: /kontakt/
Allow: /kontakt/impressum/
Sitemap: /sitemap.xml

Daneben existieren noch weitere nützliche Anweisungen.

Wir von wvderlab schrauben gerne an Ihrem digitalen Roboter und maximieren die Suchanfragen für den Erfolg auf Ihrer Webseite. Falls Sie Fragen haben, sind wir Ihnen selbstverständlich behilflich. Wir gehen individuell auf Ihre SEO Wünsche und Ziele ein.