Kann Google Ihre Website wirklich sehen?
Eine kleine technische Datei, robots.txt, bestimmt, ob Google Ihre Website sehen und rendern darf, und ein Fehler darin kann Ihre gesamte Sichtbarkeit lahmlegen, ohne dass Sie etwas bemerken.
Was ist diese Datei eigentlich
Jede Website hat oder sollte eine Datei namens robots.txt haben. Sie finden sie, indem Sie hinter Ihren Domainnamen /robots.txt eingeben, zum Beispiel ihrfirma.de/robots.txt. Diese Datei ist die erste, die Google liest, bevor es Ihre Website ansieht. Sie ist in reinem Text geschrieben und teilt den Suchmaschinen mit, welche Teile der Website sie besuchen dürfen und welche nicht.
Sie können es mit einem Schild am Eingang eines Gebäudes vergleichen. Einige Türen stehen offen, andere sind mit einem einfachen Zettel geschlossen. Das Problem ist, dass Unternehmen manchmal versehentlich den falschen Zettel aufhängen. Statt eine Hintertür zu schließen, sperren sie das ganze Gebäude für Besucher ab, einschließlich der wichtigsten Räume.
Neben den Pfaden, die besucht werden dürfen oder nicht, geht es auch um etwas Subtileres: die Dateien, die die Seite aufbauen. Denken Sie an CSS, das für die Formatierung sorgt, und JavaScript, das für Bewegung und Interaktion auf der Seite sorgt. Wenn robots.txt diese Dateien blockiert, kann Google die Seite zwar besuchen, aber nicht richtig sehen. Es sieht dann eine nackte, kaputte Version Ihrer Website.
Dies hängt eng zusammen mit einem anderen Kontrollpunkt: ob Ihre Kerninhalt auch ohne JavaScript zugänglich ist, wie wir unter Kerninhalt ist ohne JavaScript erreichbar erklären. Beide Punkte behandeln dieselbe Frage: Kann Google Ihre Seite so sehen, wie ein Besucher sie sieht, oder bekommt Google ein unvollständiges Bild, das schlecht bewertet wird.
Warum dies mehr ist als ein technisches Detail
Google nutzt einen Prozess namens Rendering: Die Suchmaschine baut Ihre Seite im Grunde nach, genau wie ein Browser das tut, um zu sehen, was ein Besucher wirklich zu sehen bekommt. Das funktioniert nur, wenn Google auf alle Komponenten zugreifen darf, die dafür notwendig sind. Wenn CSS oder JavaScript blockiert ist, sieht Google eine nackte Seite ohne Formatierung, ohne Menü, manchmal ohne den Text, der durch Skripte geladen wird.
Die Folge ist, dass Google falsch einschätzt, worum es auf Ihrer Seite geht. Eine Seite, die für Besucher prima aussieht, kann für Google unverständlich oder leer wirken. Das ist keine Frage von etwas weniger guter Bewertung. Es geht darum, überhaupt nicht berücksichtigt zu werden, während Sie nichts falsch an den Inhalten selbst gemacht haben.
Es gibt einen Unterschied zwischen einer Seite, die nicht existiert, und einer Seite, die existiert, aber unerreichbar gemacht wurde. Das berührt auch andere Punkte auf unserer Checkliste, wie die Frage, ob eine gelöschte Seite ordnungsgemäß einen 404-Status zurückgibt, wie wir unter Die 404-Seite selbst ist hilfreich erklären. In beiden Fällen geht es um Klarheit: Zeigen Sie Google, was gefunden werden soll und was nicht.
Wie Sie selbst überprüfen können, ob alles in Ordnung ist
Geben Sie Ihren Domainnamen gefolgt von /robots.txt in die Adressleiste Ihres Browsers ein. Es erscheint eine einfache Liste mit Regeln, meist mit Worten wie ‚Disallow' gefolgt von einem Pfad. Disallow bedeutet: Dieser Pfad darf nicht besucht werden. Überprüfen Sie, ob dort etwas steht, das Sie nicht erwarten, wie ein einfacher Schrägstrich allein, was bedeutet, dass die ganze Website gesperrt ist.
Achten Sie besonders auf Regeln, die auf Ordner mit Namen wie /wp-content/, /assets/, /css/ oder /js/ verweisen. Dies sind oft genau die Ordner, in denen die Formatierung und Interaktion Ihrer Website stecken. Sind diese blockiert, ist die Wahrscheinlichkeit groß, dass Google Ihre Seiten nicht richtig rendern kann, auch wenn der Rest der Datei harmlos aussieht.
Google Search Console, ein kostenloses Dienst von Google für Website-Besitzer, hat einen Test, mit dem Sie eine bestimmte Seite auf Renderingprobleme überprüfen können. Sie sehen dort ein Beispiel, wie Google Ihre Seite wahrnimmt. Sieht das nackt oder kaputt aus, während die Seite in Ihrem Browser prima aussieht, dann ist das ein klares Signal, dass etwas beim Laden von CSS, JavaScript oder Bildern schiefgeht.
Wenn Sie unsicher sind, ob ein bestimmter Pfad absichtlich ausgeschlossen oder versehentlich blockiert wurde, besprechen Sie dies mit derjenigen Person, die Ihre Website gebaut hat. Einige Blockaden sind bewusst und sinnvoll, wie das Ausschließen eines internen Suchergebnisses, auf das wir separat bei internen Suchergebnisseiten auf noindex eingehen. Andere Blockaden sind einfach Fehler aus einer Standardeinstellung, die nie überprüft wurde.
Was es kostet, wenn das nicht in Ordnung ist
Wenn robots.txt wichtige Pfade blockiert, schließen Sie unbewusst Teile Ihrer Website für Google ab. Das können Produktseiten, Blogartikel oder sogar die ganze Website nach einem Umzug auf ein neues System sein. Das passiert häufiger als man denkt, besonders nach einer Website-Erneuerung, bei der eine Einstellung, die für die Testumgebung gedacht war, versehentlich auf der echten Website stehen bleibt.
Das Tückische ist, dass Sie davon in Ihrer täglichen Nutzung der Website nichts merken. Die Seiten laden einfach, Besucher, die den Link direkt erhalten, können sie weiterhin erreichen. Nur der Verkehr aus Suchmaschinen versiegt langsam, ohne offensichtlichen Grund. Viele Unternehmer suchen dann nach der Ursache in den Inhalten oder der Konkurrenz, während das Problem in einer technischen Datei steckt, die sie noch nie geöffnet haben.
Wenn nur CSS und JavaScript blockiert sind, ist der Effekt subtiler, aber nicht weniger schädlich. Ihre Seiten bleiben zwar auffindbar, aber Google bewertet sie anhand eines unvollständigen Bildes. Text, der durch ein Skript geladen wird, zählt möglicherweise nicht mit. Eine Seite, die für Sie hervorragend aussieht, wird von Google als inhaltsarm bewertet, mit allen Folgen für Ihre Position in den Suchergebnissen.
Die Wiederherstellung ist normalerweise keine Frage von Monaten Arbeit. Oft geht es darum, ein paar Zeilen in einer Datei anzupassen. Der Punkt ist, dass Sie das Problem erst erkennen müssen. Ohne Überprüfung bleibt eine Blockade manchmal jahrelang unbemerkt bestehen, einfach weil niemand danach schaute, nachdem die Website zuletzt angepasst wurde.
Was getan werden muss, um das in Ordnung zu bringen
Das Ausgangsprinzip ist einfach: robots.txt darf nur Pfade blockieren, die Sie bewusst ausschließen möchten, wie eine Admin-Anmeldeseite oder einen Einkaufswagen, der eh nicht in Suchergebnissen auftauchen sollte. Alles, das dazu beiträgt, wie die Seite aussieht oder funktioniert, muss zugänglich bleiben. Das ist das ganze Prinzip hinter diesem Kontrollpunkt: nicht aus Vorsicht zumachen, sondern gezielt schließen, wo nötig.
Lassen Sie diese Datei im Rahmen eines umfassenderen Überblicks überprüfen, was indiziert werden soll und was nicht. Dieser Überblick, eine Indexierungsmatrix pro Seitentyp, zeigt auf, welche Seiten für Google sichtbar sein müssen und welche bewusst nicht, wie wir bei einer Indexierungsmatrix pro Seitentyp erläutern. Robots.txt ist dann das Instrument, mit dem diese Entscheidungen umgesetzt werden, nicht der Ort, wo diese Entscheidungen getroffen werden.
Überprüfen Sie diese Datei nicht nur beim Aufbau der Website, sondern auch nach jeder größeren Änderung: ein Umzug auf ein anderes System, ein neuer Website-Builder oder eine Umstrukturierung der Website. Dies sind genau die Momente, in denen Einstellungen versehentlich aus einer Testumgebung mitgenommen werden. Eine kurze nachträgliche Überprüfung verhindert, dass eine temporäre Einstellung dauerhaft wird.
Denken Sie auch daran, dass robots.txt nicht für sich allein steht. Es ist eng mit anderen Signalen verbunden, die Sie Google geben, wie die Anweisung auf Seitenebene über ein noindex-Tag, über das mehr bei noindex via meta robots oder X-Robots-Tag. Beides darf sich nicht widersprechen. Eine Seite, die Sie zeigen möchten, darf nicht über den einen Kanal geöffnet und über den anderen wieder blockiert werden.
Häufig gestellte Fragen
Kann ich robots.txt selbst anpassen, ohne Website-Builder
Technisch gesehen ist es eine einfache Textdatei, die Sie selbst öffnen und ändern können. In der Praxis ist Vorsicht ratsam: Eine falsche Zeile kann Ihre gesamte Website für Google blockieren. Lassen Sie eine Änderung von derjenigen Person überprüfen, die Ihre Website verwaltet, oder testen Sie die Änderung zunächst mit dem Tool in Google Search Console, bevor Sie sie endgültig durchführen.
Bedeutet eine Blockade in robots.txt, dass die Seite sofort aus Google verschwindet
Nicht sofort und nicht immer vollständig. Die Auswirkung baut sich oft allmählich auf, je häufiger Google die Blockade antrifft. Manchmal bleibt eine Seite noch sichtbar ohne Beschreibung, weil Google den Titel kennt, aber den Inhalt nicht sehen darf. Das Ergebnis ist in jedem Fall eine schwächere Position als wenn die Seite vollständig zugänglich wäre.
Ich habe keine robots.txt-Datei, ist das ein Problem
Ohne diese Datei darf Google grundsätzlich überall hin, also in diesem Sinne gibt es keine direkte Blockade. Dennoch ist es ratsam, eine zu haben, wenn nur um bewusst ein paar Pfade auszuschließen, wie etwa ein internes Suchsystem. Das entspricht auch Kontrollpunkt 1.2, in dem wir auf die genaue Struktur eingehen, wie unter Kontrollpunkt 1.2 zu lesen ist.
Weitere Lektüre
Wie sieht Ihre eigene Website aus?
Zwei Zahlen, innerhalb einer Minute, kostenlos — und Sie müssen nichts hinterlassen.
Lieber gleich den vollständigen Bericht? Umfassende Analyse — € 49 →
Möchten Sie wissen, woran es liegt?
Dieser Scan zeigt Ihnen den Status. Der Bericht zeigt Ihnen die Ursachen und die Reihenfolge, in der Sie sie angehen.
- Für jeden Befund, was falsch ist und was getan werden mussDer kostenlose Scan gibt Ihnen den Status. Der Bericht gibt Ihnen die Liste — in gewöhnlicher Sprache, nach Gewichtung geordnet, ohne dass Sie etwas Technisches verstehen müssen.
- Alle vier KI-Assistenten statt einesDas kostenlose Ergebnis ist eine Stichprobe bei einem Assistenten. Der Bericht stellt acht Fragen an alle vier, damit Sie wissen, ob es an einem Assistenten liegt oder an allen.
- Welche Unternehmen erwähnt werdenWer bekommt den Kunden, den Sie verpassen? Diese Namen stehen im Bericht, mit wie oft sie dort auftauchen, wo Sie fehlen.
- Eine tiefergehende Messung Ihrer WebsiteDer kostenlose Scan schaut sich zehn Seiten an. Der Bericht durchsucht bis zu fünfzig, also auch die Seiten, auf denen Ihre Kunden letztendlich landen.