Kan Google nettstedet ditt egentlig se?

Hva er den filen egentlig

Hvert nettsted har, eller burde ha, en fil som heter robots.txt. Du finner den ved å skrive /robots.txt etter domenenavnet ditt, for eksempel bedriftdin.no/robots.txt. Denne filen er den første Google leser før den ser på nettstedet ditt. Den står i vanlig tekst og forteller søkemaskiner hvilke deler av nettstedet de får og ikke får besøke.

Du kan sammenligne det med et skilt ved inngangen til en bygning. Noen dører står åpne, andre er lukket med en enkel lapp. Problemet er at bedrifter noen ganger ved et uhell henger opp feil lapp. I stedet for å lukke én bakdør, lukker de hele bygningen for besøkende, inkludert de viktigste rommene.

Foruten stiene som får eller ikke får besøkes, handler det også om noe mer subtilt: filene som bygger opp siden. Tenk på CSS, som sørger for formatering, og JavaScript, som sørger for bevegelse og interaksjon på siden. Hvis robots.txt blokkerer disse filene, kan Google besøke siden, men kan ikke se den ordentlig. Den ser da en nakn, ødelagt versjon av nettstedet ditt.

Dette henger tett sammen med et annet kontrollpunkt: om kjerneinholdet ditt også er tilgjengelig uten JavaScript, slik vi forklarer ved kjerneinholdet er tilgjengelig uten JavaScript. Begge punktene handler om samme spørsmål: kan Google se siden din slik en besøkende ser den, eller får Google et ufullstendig bilde som scorer dårlig.

Hvorfor dette er mer enn en teknisk detalj

Google bruker en prosess som kalles rendering: søkemaskinen bygger i hovedsak siden din på nytt, helt som en nettleser gjør, for å se hva en besøkende egentlig får se. Det kan bare skje hvis Google får tilgang til alle delene som trengs for det. Hvis CSS eller JavaScript er blokkert, ser Google en nakn side uten formatering, uten meny, noen ganger uten teksten som lastes inn med skript.

Resultatet er at Google gjør seg et feil bilde av hva siden din handler om. En side som ser fin ut for besøkende, kan virke uforståelig eller tom for Google. Det er ikke et spørsmål om å score litt dårligere. Det er et spørsmål om ikke å bli tatt med i det hele tatt, selv om du ikke gjorde noe galt ved innholdet selv.

Det er en forskjell mellom en side som ikke finnes og en side som finnes, men er gjort utilgjengelig. Det berører også andre punkter på vår sjekkliste, som spørsmålet om en slettet side pent returnerer en 404-status, slik vi diskuterer ved 404-siden er selv nyttig. I begge tilfeller handler det om klarhet: vis Google hva som er ment å bli funnet og hva som ikke er det.

Hvordan du selv sjekker om det er i orden hos deg

Skriv domenenavnet ditt etterfulgt av /robots.txt i adressfeltet i nettleseren din. Det vises en enkel liste med regler, vanligvis med ord som 'Disallow' etterfulgt av en sti. Disallow betyr: denne stien får ikke besøkes. Se etter noe der du ikke venter det, som en skråstrek alene, som betyr at hele nettstedet er lukket.

Vær spesielt oppmerksom på regler som viser til mapper med navn som /wp-content/, /assets/, /css/ eller /js/. Dette er ofte nettopp mappene der formateringen og interaksjonen på nettstedet ditt ligger. Hvis disse er blokkert, er det stor sannsynlighet for at Google ikke kan gjengi sidene dine ordentlig, selv om resten av filen virker uskyld.

Google Search Console, en gratis tjeneste fra Google for nettsideeierne, har en test der du kan sjekke en bestemt side for gjengiveringsproblemer. Du ser der et eksempel på hvordan Google oppfatter siden din. Hvis det ser nakent eller ødelagt ut mens siden i nettleseren din ser fin ut, er det et klart signal om at noe går galt ved lasting av CSS, JavaScript eller bilder.

Er du usikker på om en bestemt bane er bevisst ekskludert eller ved et uhell, ta kontakt med den som bygde nettstedet ditt. Noen blokeringer er bevisste og fornuftige, som å stenge ett internt søkeresultat, noe vi går nærmere inn på for interne søkeresultatssider på noindex. Andre blokeringer er ganske enkelt feil fra en standardinnstilling som aldri er blitt kontrollert.

Hva det koster hvis dette ikke er i orden

Hvis robots.txt blokkerer viktige baner, stenger du utilsiktet deler av nettstedet ditt for Google. Det kan være produktsider, bloggartikler, eller til og med hele nettstedet etter en overgang til et nytt system. Dette skjer oftere enn folk tror, særlig etter en nettstedsoppgradering, der en innstilling som var ment for testmiljøet ved et uhell blir liggende på det faktiske nettstedet.

Det lumske er at du ikke merker noe av det i ditt daglige bruk av nettstedet. Sidene lastes bare inn, besøkende som får lenken direkte kan fortsatt komme dit. Bare trafikken fra søkemotorer tørker langsomt ut, uten klar årsak. Mange gründere leter etter årsaken i innholdet eller konkurransen, mens problemet ligger i en teknisk fil som de aldri har åpnet.

Når bare CSS og JavaScript er blokkert, er effekten mindre åpenbar men ikke mindre skadelig. Sidene dine blir fortsatt funnet, men Google vurderer dem basert på et ufullstendig bilde. Tekst som lastes inn av et skript, teller kanskje ikke med. En side som ser fin ut for deg, blir vurdert av Google som fattig på innhold, med alle konsekvenser for plasseringen din i søkeresultatene.

Reparasjon er vanligvis ikke et spørsmål om måneder med arbeid. Ofte dreier det seg om å justere et par linjer i en fil. Poengene er at du først må gjenkjenne problemet. Uten kontroll kan en blokkering noen ganger forbli uopdaget i årevis, bare fordi ingen så på det igjen etter at nettstedet sist ble endret.

Hva som må gjøres for å få dette i orden

Utgangspunktet er enkelt: robots.txt må bare blokkere baner som du bevisst vil ekskludere, som en påloggingsside for administratorer eller en handlekurv som uansett ikke skal vises i søkeresultater. Alt som bidrar til hvordan siden ser ut eller fungerer, må forbli tilgjengelig. Det er hele prinsippet bak dette kontrollpunktet: ikke lukke ned av forsikte, men målrettet stenge der det er nødvendig.

La denne filen kontrolleres som en del av en bredere oversikt over hva som skal og ikke skal indekseres. Denne oversikten, en indekseringsmatrise per sidetype, kartlegger hvilke sider som skal være synlige for Google og hvilke bevisst ikke, som vi forklarer for en indekseringsmatrise per sidetype. Robots.txt er da instrumentet som disse valgene gjennomføres med, ikke stedet der disse valgene blir tatt.

Kontroller denne filen ikke bare ved byggingen av nettstedet, men også etter hver større endring: en overgang til et annet system, en ny nettstedbygger, eller en omstrukturering av nettstedet. Dette er akkurat de timene innstillingene ved et uhell blir tatt med fra et testmiljø. En kort kontroll etterpå forhindrer at en midlertidig innstilling blir permanent.

Husk også at robots.txt ikke står alene. Det er nøye knyttet til andre signaler som du gir til Google, som instruksjonen på sidenivå via en noindex-tag, som vi diskuterer mer for noindex via meta robots eller X-Robots-Tag. Begge må ikke motstride hverandre. En side som du vil vise må ikke åpnes gjennom den ene kanalen og fortsatt blokkeres gjennom den andre.