Kan Google uw website wel echt bekijken?

Hvad er den fil egentlig

Hvert websted har, eller burde have, en fil ved navn robots.txt. Du finder det ved at skrive /robots.txt efter dit domænenavn, for eksempel ditfirma.dk/robots.txt. Denne fil er den første, som Google læser, før det ser dit websted. Den er i almindelig tekst og siger til søgemaskiner, hvilke dele af webstedet de må og ikke må besøge.

Du kan sammenligne det med et skilt ved indgangen til en bygning. Nogle døre står åbne, andre er lukket med et simpelt brev. Problemet er, at virksomheder nogle gange ved et uheld hænger det forkerte brev op. I stedet for at lukke én bagdør, lukker de hele bygningen for besøgende, herunder de vigtigste rum.

Udover de stier, der må eller ikke må besøges, handler det også om noget mere subtilt: de filer, der bygger siden op. Tænk på CSS, som sørger for formatering, og JavaScript, som sørger for bevægelse og interaktion på siden. Hvis robots.txt blokerer disse filer, kan Google besøge siden, men kan ikke se den ordentligt. Den ser så en tom, brækket version af dit websted.

Dette hænger tæt sammen med et andet kontrol punkt: om dit kernindhold også er tilgængeligt uden JavaScript, som vi forklarer ved kernindholdet er tilgængeligt uden JavaScript. Begge punkter handler om det samme spørgsmål: kan Google se din side, som en besøgende ser den, eller får Google et ufuldstændigt billede, der scorer dårligt.

Hvorfor dette er mere end en teknisk detalje

Google bruger en proces kaldet rendering: søgemaskinen bygger i det væsentlige din side efter, præcis som en browser gør det, for at se, hvad en besøgende virkelig får at se. Det kan kun ske, hvis Google må få adgang til alle dele, der er nødvendige til det. Hvis CSS eller JavaScript er blokeret, ser Google en tom side uden formatering, uden menu, nogle gange uden tekst, der indlæses med scripts.

Resultatet er, at Google estimerer forkert, hvad din side handler om. En side, der ser fin ud for besøgende, kan være uforståelig eller tom for Google. Det er ikke et spørgsmål om at score lidt dårligere. Det er et spørgsmål om ikke at blive medtaget, selvom du ikke gjorde noget galt med indholdet selv.

Der er forskel på en side, der ikke findes, og en side, der eksisterer, men er gjort utilgængelig. Det berører også andre punkter på vores checkliste, såsom spørgsmålet om en slettet side pænt returnerer en 404-status, som vi diskuterer ved 404-siden er selv nyttig. I begge tilfælde handler det om klarhed: lad Google se, hvad der er og ikke er beregnet til at blive fundet.

Sådan kontrollerer du selv, om det er i orden for dig

Skriv dit domænenavn efterfulgt af /robots.txt i adresselinjen i din browser. Der vises en simpel liste over regler, normalt med ord som 'Disallow' efterfulgt af en sti. Disallow betyder: denne sti må ikke besøges. Se efter noget, du ikke forventer, såsom en skråstreg alene, hvilket betyder, at hele webstedet er lukket.

Vær især opmærksom på regler, der refererer til mapper med navne som /wp-content/, /assets/, /css/ eller /js/. Dette er ofte præcis de mapper, hvor formatering og interaktion på dit websted er. Hvis de er blokeret, er der stor sandsynlighed for, at Google ikke kan gengive dine sider ordentligt, selvom resten af filen ser uskyldig ud.

Google Search Console, en gratis tjeneste fra Google for website-ejere, har en test, hvor du kan kontrollere en bestemt side for renderingsproblemer. Du kan se der et eksempel på, hvordan Google ser din side. Hvis det ser tomt eller brækket ud, mens siden i din browser ser fin ud, så er det et klart signal om, at der er noget galt med indlæsningen af CSS, JavaScript eller billeder.

Hvis du er i tvivl om, hvorvidt en bestemt sti bevidst er blevet udelukket eller ved et uheld, så tag kontakt til den, der har bygget dit websted. Nogle blokkeringer er bevidste og fornuftige, såsom at lukke et internt søgeresultat, hvilket vi gennemgår separat på sider med interne søgeresultater på noindex. Andre blokkeringer er simpelthen fejl fra en standardindstilling, der aldrig er blevet kontrolleret.

Hvad det koster, hvis det ikke er i orden

Hvis robots.txt blokerer vigtige stier, lukker du uden at være klar over det dele af dit websted af for Google. Det kan være produktsider, blogartikler eller endda hele webstedet efter en flytning til et nyt system. Dette sker oftere end folk tror, især efter en hjemmeside-fornyelse, hvor en indstilling, der var beregnet til testmiljøet, ved et uheld bliver på det rigtige websted.

Det træls ved det er, at du ikke bemærker det i din daglige brug af webstedet. Siderne indlæses bare, og besøgende, der får linket direkte, kan stadig komme der. Kun trafikken via søgemaskiner tørrer langsomt ud uden nogen klar årsag. Mange iværksættere søger så årsagen i indholdet eller konkurrencen, mens problemet sidder i en teknisk fil, som de aldrig har åbnet.

Når kun CSS og JavaScript bliver blokkeret, er effekten mere subtil, men ikke mindre skadelig. Dine sider bliver stadig fundet, men Google bedømmer dem på baggrund af et ufuldstændigt billede. Tekst, der indlæses af et script, tæller måske ikke med. En side, der ser fint ud for dig, bliver bedømt af Google som værende fattig på indhold, med alle konsekvenser for din placering i søgeresultaterne.

Reparation er normalt ikke et spørgsmål om måneders arbejde. Ofte handler det om at justere et par linjer i en fil. Pointen er, at du først skal genkende problemet. Uden kontrol kan en blokering nogle gange forblive uopdaget i årevis, blot fordi ingen har kigget på det siden webstedet sidst blev ændret.

Hvad der skal gøres for at få det i orden

Udgangspunktet er simpelt: robots.txt må kun blokere stier, som du bevidst ønsker at udelukke, såsom en login-side for administratorer eller en indkøbskurv, der alligevel aldrig skal vises i søgeresultater. Alt, der bidrager til, hvordan siden ser ud eller fungerer, skal være tilgængelig. Det er hele princippet bag dette kontrolpunkt: ikke at lukke for forsigtighedsskyld, men målrettet at lukke, hvor det er nødvendigt.

Lad denne fil kontrollere som en del af et bredere overblik over, hvad der skal og ikke skal indekseres. Det overblik, en indekseringsmatrix pr. sidetype, kortlægger, hvilke sider der skal være synlige for Google, og hvilke der bevidst ikke skal være det, som vi forklarer ved en indekseringsmatrix pr. sidetype. Robots.txt er så det instrument, hvormed disse valg gennemføres, ikke stedet hvor disse valg foretages.

Kontroller denne fil ikke kun ved opbygningen af webstedet, men også efter hver større ændring: en flytning til et andet system, en ny webstedbygger eller en omstrukturering af webstedet. Disse er præcis de tidspunkter, hvor indstillinger ved et uheld bliver taget med fra et testmiljø. En kort efterfølgende kontrol forhindrer, at en midlertidig indstilling bliver permanent.

Husk også, at robots.txt ikke står alene. Det er tæt forbundet med andre signaler, som du giver Google, såsom instruktionen på sideniveau via et noindex-tag, som vi går nærmere ind på under noindex via meta robots eller X-Robots-Tag. Begge må ikke modsige hinanden. En side, som du ønsker at vise, må ikke blive åbnet via en kanal og stadig blive blokkeret via en anden.