Näkeekö Google todella sivustoasi?

Mikä se tiedosto oikeastaan on

Jokaisella verkkosivustolla on tai pitäisi olla tiedosto nimeltä robots.txt. Löydät sen kirjoittamalla toimialueesi perään /robots.txt, esimerkiksi yrityksesi.fi/robots.txt. Tämä tiedosto on ensimmäinen, jonka Google lukee ennen sivustosi katselua. Se on tavallista tekstiä ja se kertoo hakukoneille, mitä sivuston osia ne saavat ja mitä eivät saa käydä.

Voit verrata sitä ovella olevaan kylttyyn rakennuksen sisäänkäynnillä. Jotkut ovet ovat avoimia, toiset on suljettu yksinkertaisella setelillä. Ongelma on, että yritykset joskus vahingossa ripustavat väärän setelin. Sen sijaan, että sulkisivat yhden takaoven, he sulkevat koko rakennuksen vierailijoilta, mukaan lukien tärkeimmät tilat.

Lisäksi siihen, mitä polkuja saa tai ei saa käydä, liittyy myös jotain hienovaraisempaa: tiedostot, joista sivu rakentuu. Ajattele CSS:ää, joka huolehtii muotoilusta, ja JavaScriptiä, joka huolehtii sivun liikkeistä ja vuorovaikutuksesta. Jos robots.txt estää nämä tiedostot, Google voi käydä sivulla, mutta ei näe sitä kunnolla. Se näkee sivustostasi paljaan, rikkinäisen version.

Tämä liittyy läheisesti toiseen tarkistuspisteeseen: onko ydinsisältösi saavutettavissa myös ilman JavaScriptiä, kuten selitämme kohdassa ydinsisältö on saavutettavissa ilman JavaScriptiä. Molemmat kohdat käsittelevät samaa kysymystä: näkeekö Google sivusi samalla tavalla kuin vierailija, vai saako Google epätäydellisen kuvan, joka saa huonon pistemäärän.

Miksi tämä on enemmän kuin tekninen yksityiskohta

Google käyttää prosessia, jota kutsutaan renderöinniksi: hakukone luo sivusi periaatteessa uudelleen, aivan kuten selain tekee, nähdäkseen mitä vierailija todella näkee. Tämä on mahdollista vain, jos Google saa käyttää kaikkia osia, joita siihen tarvitaan. Jos CSS tai JavaScript on estetty, Google näkee paljaan sivun ilman muotoilua, ilman valikkoa, joskus ilman tekstiä, joka ladataan skripteillä.

Seurauksena Google arvioi väärin, mistä sivusi käsittelee. Sivu, joka näyttää vierailijoille hyvältä, voi näyttää Googlelta käsittämättömältä tai tyhjältä. Tämä ei ole kysymys vain hieman huonommasta pistemäärästä. Kyse on siitä, että sivua ei oteta huomioon, vaikka sisällon kanssa et tehnyt mitään väärin.

Verkkosivulla, jota ei ole olemassa, ja verkkosivulla, joka on olemassa mutta joka on tehty saavuttamattomaksi, on ero. Tämä koskee myös muita mittaluettelomme kohtia, kuten kysymystä siitä, antaako poistettu sivu asianmukaisesti 404-statuksen, kuten keskustelemme kohdassa 404-sivu itsessään on hyödyllinen. Molemmissa tapauksissa kyse on selkeydestä: näytä Googlelle, mitä on tarkoitettu löytymään ja mitä ei.

Kuinka tarkistat itse, ovatko asiat kunnossa

Kirjoita toimialueesi nimesi ja /robots.txt selaimen osoiteriviin. Näyttöön ilmestyy yksinkertainen luettelo säännöistä, yleensä sanoilla kuten 'Disallow', joita seuraa polku. Disallow tarkoittaa: tätä polkua ei saa käydä. Tarkista, onko siellä jotain, jota et odottanut, kuten pelkkä vinoviiva, mikä tarkoittaa, että koko sivusto on suljettu.

Kiinnitä erityistä huomiota sääntöihin, jotka viittaavat kansioihin, joiden nimet ovat kuten /wp-content/, /assets/, /css/ tai /js/. Nämä ovat usein juuri niitä kansioita, joissa sivustosi muotoilu ja vuorovaikutus ovat. Jos ne on estetty, on suuri todennäköisyys, että Google ei voi renderöidä sivujasi kunnolla, vaikka tiedoston loput näyttäisivät viattomilta.

Google Search Console, Googlen ilmainen palvelu verkkosivustojen omistajille, sisältää testin, jolla voit tarkistaa tiettyä sivua renderöintiongelmien varalta. Näet siellä esimerkin siitä, miten Google havaitsee sivusi. Jos se näyttää paljalta tai rikkinäiseltä, kun taas sivu selaimessasi näyttää hyvinä, se on selkeä merkki siitä, että CSS:n, JavaScriptin tai kuvien lataamisessa on jotain vialla.

Jos epäilet, että jokin polku on tarkoituksellisesti tai vahingossa suljettu, keskustele sen kanssa, joka rakentamisen sivustollesi. Jotkut esto-ohjeet ovat tietoisia ja järkeviä, kuten sisäisen hakutulossivun sulkeminen, mitä käsittelemme erikseen sisäisen hakutulossivun noindex-ohjeella. Muut esto-ohjeet ovat yksinkertaisesti virheitä oletusasetuksista, joita ei ole koskaan tarkistettu.

Mitä tämä maksaa, jos se ei ole kunnossa

Jos robots.txt-tiedosto estää tärkeitä polkuja, suljet vahingossa osia sivustostasi Googlelle. Nämä voivat olla tuotesivuja, blogiartikkeleita tai jopa koko sivustoa siirron jälkeen uuteen järjestelmään. Tämä tapahtuu useammin kuin ihmiset luulevat, erityisesti sivuston uusimisen jälkeen, kun testiympäristölle tarkoitettu asetus jää vahingossa todelliselle sivustolle.

Ikävä puoli on, että et huomaa mitään päivittäisessä sivuston käytössäsi. Sivut latautuvat normaalisti, vierailijat, jotka saavat linkin suoraan, voivat silti päästä sinne. Ainoastaan hakukoneiden kautta tulevan liikenteen määrä vähenee hitaasti ilman selkeää syytä. Monet yrittäjät etsivät syytä silloin sisällöstä tai kilpailusta, vaikka ongelma on teknisissä tiedostoissa, joita he eivät ole koskaan avanneet.

Kun vain CSS ja JavaScript on estetty, vaikutus on hienovaraisempi, mutta ei vähemmän haitallinen. Sivusi löytyvät edelleen, mutta Google arvioi ne epätäydellisen kuvan perusteella. Teksti, joka ladataan skriptillä, ei ehkä huomioida. Sivu, joka näyttää sinulle hyvältä, arvioidaan Googlessa sisällöltään köyhäksi, mikä vaikuttaa hakutuloksissasi näkyvyyteesi.

Korjaus ei yleensä vaadi kuukausien työtä. Usein kysymys on muutaman rivin muuttamisesta tiedostossa. Tärkeää on, että tunnistat ongelman ensin. Ilman tarkistusta esto-ohje voi jäädä huomaamatta vuosiksi, yksinkertaisesti siksi, että kukaan ei tarkistanut sitä sen jälkeen, kun sivustoa muutettiin viimeksi.

Mitä on tehtävä, jotta tämä saadaan kuntoon

Periaate on yksinkertainen: robots.txt-tiedosto saa estää vain polkuja, joita haluat tarkoituksellisesti sulkea, kuten järjestelmänvalvojan kirjautumissivun tai ostoskorin, joka ei kuitenkaan kuulu hakutuloksiin. Kaiken sen, joka vaikuttaa siihen, miten sivu näyttää tai toimii, on pysyttävä saavutettavana. Tämä on koko tämän tarkistuspisteen periaate: ei sulkea varovaisuuden takia, vaan sulkea kohdistetulla tavalla, jos se on tarpeen.

Anna tämä tiedosto tarkistaa osana laajempaa katsausta siihen, mitä pitäisi ja pitää indeksoida. Tämä katsaus, indeksointimatriisi sivutyypeittäin, kartoittaa, mitkä sivut pitävät olla näkyviä Googlelle ja mitkä niistä tarkoituksellisesti eivät, kuten selitämme indeksointimatriisissa sivutyypeittäin. Robots.txt on silloin työkalu, jolla nämä valinnat toteutetaan, ei paikka, jossa nämä valinnat tehdään.

Tarkista tämä tiedosto ei vain sivuston rakentamisvaiheessa, vaan myös jokaisen suurimman muutoksen jälkeen: siirtyminen toiseen järjestelmään, uusi sivustonrakentaja tai sivuston rakentamisen uudelleen järjestäminen. Nämä ovat juuri ne hetket, jolloin asetukset otetaan vahingossa mukaan testiympäristöstä. Lyhyt jälkitarkistus estää väliaikaisen asetuksen pysyvyyttä.

Muista myös, että robots.txt ei ole omillaan. Se on läheisesti yhteydessä muihin Googlelle antamiisi signaaleihin, kuten sivutasoisiin noindex-merkintöihin, joista kerromme lisää noindex-merkinnöissä meta robots -tunnisteella tai X-Robots-tunnisteella. Kaikki nämä eivät saa olla ristiriidassa keskenään. Sivua, jonka haluat näyttää, ei saa avata yhdessä kanavassa ja silti estää toisessa.