Kan Google er wirklich Ihre Website sehen?
Eine kleine technische Datei namens robots.txt bestimmt, ob Google Ihre Website sehen und rendern darf, und ein Fehler darin kann Ihre gesamte Sichtbarkeit lahmlegen, ohne dass Sie es bemerken.
Was ist diese Datei eigentlich
Jede Website hat oder sollte eine Datei mit dem Namen robots.txt haben. Sie finden sie, indem Sie hinter Ihren Domänennamen /robots.txt eingeben, zum Beispiel ihrfirma.de/robots.txt. Diese Datei ist die erste, die Google liest, bevor es Ihre Website besucht. Sie ist in Klartext geschrieben und sagt Suchmaschinen, welche Teile der Website sie besuchen dürfen und welche nicht.
Sie können es mit einem Schild am Eingang eines Gebäudes vergleichen. Einige Türen sind offen, andere sind mit einem einfachen Zettel geschlossen. Das Problem ist, dass Unternehmen manchmal versehentlich den falschen Zettel anbringen. Anstatt nur eine Hintertür zu sperren, sperren sie das ganze Gebäude für Besucher ab, einschließlich der wichtigsten Räume.
Neben den Pfaden, die besucht werden dürfen oder nicht, geht es auch um etwas Subtileres: die Dateien, aus denen die Seite besteht. Denken Sie an CSS, das für die Formatierung zuständig ist, und JavaScript, das für Bewegung und Interaktion auf der Seite zuständig ist. Wenn robots.txt diese Dateien blockiert, kann Google die Seite zwar besuchen, aber nicht richtig sehen. Es sieht dann eine nackte, defekte Version Ihrer Website.
Dies hängt eng mit einem anderen Kontrollpunkt zusammen: ob Ihr Kerninhalt auch ohne JavaScript erreichbar ist, wie wir unter Kerninhalt ist ohne JavaScript erreichbar erklären. Beide Punkte befassen sich mit derselben Frage: Kann Google Ihre Seite so sehen, wie ein Besucher sie sieht, oder bekommt Google ein unvollständiges Bild, das schlecht bewertet wird.
Warum dies mehr als ein technisches Detail ist
Google nutzt einen Prozess namens Rendering: Die Suchmaschine baut Ihre Seite im Grunde nach, genau wie ein Browser das tut, um zu sehen, was ein Besucher wirklich zu sehen bekommt. Das funktioniert nur, wenn Google auf alle Komponenten zugreifen darf, die dafür erforderlich sind. Wenn CSS oder JavaScript blockiert sind, sieht Google eine nackte Seite ohne Formatierung, ohne Menü, manchmal ohne Text, der durch Skripte geladen wird.
Die Folge ist, dass Google falsch einschätzt, worum es auf Ihrer Seite geht. Eine Seite, die für Besucher prima aussieht, kann für Google unverständlich oder leer wirken. Es geht nicht darum, etwas schlechter zu bewerten. Es geht darum, nicht berücksichtigt zu werden, während Sie nichts am Inhalt selbst falsch gemacht haben.
Es gibt einen Unterschied zwischen einer Seite, die nicht vorhanden ist, und einer Seite, die vorhanden ist, aber unerreichbar gemacht wurde. Dies berührt auch andere Punkte auf unserer Checkliste, z. B. die Frage, ob eine gelöschte Seite ordnungsgemäß einen 404-Status zurückgibt, wie wir unter Die 404-Seite selbst ist hilfreich besprechen. In beiden Fällen geht es um Klarheit: Zeigen Sie Google, was gefunden werden soll und was nicht.
So prüfen Sie selbst, ob alles in Ordnung ist
Geben Sie Ihren Domänennamen gefolgt von /robots.txt in die Adressleiste Ihres Browsers ein. Eine einfache Liste mit Regeln erscheint, meist mit Wörtern wie ‚Disallow' gefolgt von einem Pfad. Disallow bedeutet: Dieser Pfad darf nicht besucht werden. Schauen Sie, ob dort etwas steht, das Sie nicht erwarten, z. B. nur ein Schrägstrich, was bedeutet, dass die gesamte Website gesperrt ist.
Achten Sie besonders auf Regeln, die sich auf Ordner mit Namen wie /wp-content/, /assets/, /css/ oder /js/ beziehen. Dies sind oft genau die Ordner, in denen die Formatierung und Interaktion Ihrer Website gespeichert sind. Sind diese blockiert, ist es sehr wahrscheinlich, dass Google Ihre Seiten nicht richtig rendern kann, auch wenn der Rest der Datei harmlos aussieht.
Google Search Console, ein kostenloses Google-Dienst für Website-Besitzer, hat einen Test, mit dem Sie eine bestimmte Seite auf Renderingprobleme überprüfen können. Sie sehen dort ein Beispiel, wie Google Ihre Seite wahrnimmt. Sieht es dort nackt oder defekt aus, während die Seite in Ihrem Browser prima aussieht, ist das ein klares Signal, dass beim Laden von CSS, JavaScript oder Bildern etwas schiefgeht.
Är du osäker på om en viss sökväg är utesluten medvetet eller av misstag, diskutera det då med den som byggde din webbplats. Vissa blockeringar är avsiktliga och kloka, till exempel att stänga av ett internt sökresultat, något vi behandlar särskilt på sidor med interna sökresultat på noindex. Andra blockeringar är helt enkelt fel från en standardinställning som aldrig kontrollerades.
Vad det kostar om detta inte är i ordning
Om robots.txt blockerar viktiga sökvägar, stänger du utan att märka det av delar av din webbplats för Google. Det kan vara produktsidor, blogginlägg eller till och med hela webbplatsen efter en flytt till ett nytt system. Detta händer oftare än vad folk tror, särskilt efter en webbplatsförnyelse, där en inställning som var avsedd för testmiljön av misstag kvarstår på den riktiga webbplatsen.
Det farliga är att du inte märker något av detta i din dagliga användning av webbplatsen. Sidorna läses in helt enkelt, besökare som får länken direkt kan fortfarande komma dit. Endast trafiken från sökmotorer torkar långsamt upp, utan tydlig anledning. Många företagare letar då efter orsaken i innehållet eller konkurrensen, medan problemet ligger i en teknisk fil som de aldrig har öppnat.
När endast CSS och JavaScript är blockerade är effekten mer subtil men inte mindre skadlig. Dina sidor förblir synliga, men Google bedömer dem baserat på en ofullständig bild. Text som läses in av ett skript räknas kanske inte. En sida som ser helt bra ut för dig bedöms av Google som fattig på innehål, med alla följder för din position i sökresultaten.
Reparation är vanligtvis inte en fråga om månader av arbete. Ofta handlar det om att justera några rader i en fil. Poängen är att du först måste identifiera problemet. Utan kontroll kan en blockering ibland finnas kvar i flera år, helt enkelt för att ingen tittade på den efter att webbplatsen senast justerades.
Vad som måste göras för att få detta i ordning
Utgångspunkten är enkelt: robots.txt får endast blockera sökvägar som du medvetet vill utesluta, till exempel en inloggningssida för administratörer eller en shoppingvagn som aldrig bör dyka upp i sökresultat. Allt som bidrar till hur sidan ser ut eller fungerar måste förbli tillgängligt. Det är hela principen bakom denna kontrollpunkt: inte att täta till av försiktighet, utan att stänga av strategiskt där det är nödvändigt.
Låt denna fil kontrolleras som en del av en bredare översikt över vad som ska indexeras och inte. Den översikten, en indexeringsmatris per sidtyp, kartlägger vilka sidor som ska vara synliga för Google och vilka som medvetet inte ska vara det, som vi förklarar i en indexeringsmatris per sidtyp. Robots.txt är då det instrument med vilket dessa val genomförs, inte platsen där dessa val fattas.
Kontrollera denna fil inte bara när webbplatsen byggs utan även efter varje större ändring: en flytt till ett annat system, en ny webbplatsbyggare eller en omstrukturering av webbplatsen. Det är precis de stunder då inställningar av misstag överförs från en testmiljö. En kort kontroll efteråt förhindrar att en tillfällig inställning blir permanent.
Tänk också på att robots.txt inte existerar på egen hand. Det är nära kopplat till andra signaler som du ger Google, till exempel instruktionen på sidnivå via en noindex-tagg, som vi beskriver mer under noindex via meta robots eller X-Robots-Tag. Båda får inte motsäga varandra. En sida som du vill visa får inte öppnas via en kanal och sedan blockeras via en annan.
Vanliga frågor
Kan jag justera robots.txt själv utan webbplatsbyggare
Tekniskt är det en enkel textfil som du kan öppna och ändra själv. I praktiken är försiktighet klokt: en felaktig rad kan stänga av hela din webbplats för Google. Låt en ändring granskas av den som hanterar din webbplats, eller testa ändringen först med verktyget i Google Search Console innan du implementerar den permanent.
Betyder ett blockeringsprogram i robots.txt att sidan omedelbar försvinner från Google
Inte omedelbar, och inte alltid helt. Effekten byggs ofta gradvis upp när Google stöter på blockeringen oftare. Ibland är en sida fortfarande synlig utan beskrivning, eftersom Google känner till titeln men inte får se innehållet. Resultatet är i alla fall en svagare position än när sidan var helt tillgänglig.
Jag har ingen robots.txt-fil, är det ett problem
Utan denna fil får Google i princip tillgång överallt, så i den bemärkelsen finns det ingen direkt blockering. Ändå är det klokt att ha en, åtminstone för att medvetet utesluta några sökvägar, till exempel ett internt söksystem. Det stämmer också överens med kontrollpunkt 1.2, där vi går in på den exakta strukturen för detta, som du kan läsa om vid kontrollpunkt 1.2.
Vidare läsning
Hur ser er egen webbplats ut?
Två siffror, inom en minut, kostnadsfritt — och ni behöver inte lämna något.
Föredrar ni omedelbar åtkomst till den fullständiga rapporten? Omfattande skanning — € 49 →
Vill ni veta vad det beror på?
Den här genomsökningen ger er status. Rapporten ger er orsakerna och ordningen i vilken ni tacklar dem.
- För varje upptäckt vad som är fel och vad som måste åtgärdasDen kostnadsfria skanningen ger dig statusen. Rapporten ger dig listan — i vanligt språk, sorterad efter hur allvarligt det väger, utan att du behöver förstå något tekniskt.
- Alla fyra AI-assistenter i stället för enDet kostnadsfria resultatet är ett urval hos en assistent. Rapporten ställer åtta frågor till alla fyra, så att du vet om det beror på en assistent eller på alla.
- Vilka företag som nämns faktisktVilken kund som du missar får en annan? Dessa namn finns i rapporten, med hur ofta de förekommer där du saknas.
- En djupare mätning av din webbplatsDen kostnadsfria skanningen tittar på tio sidor. Rapporten går igenom upp till femtio, inklusive de sidor där dina kunder slutligen hamnar.