Ali lahko Google res vidita vašo spletno stran?

Kaj je ta datoteka pravzaprav

Vsaka spletna stran ima ali bi morala imeti datoteko z imenom robots.txt. Najdete jo tako, da za imenom domene nastavite /robots.txt, na primer vasepodjetje.si/robots.txt. Ta datoteka je prva, ki jo Google prebere, preden pregleda vašo stran. Vsebuje navaden tekst in sporoča iskalcem, katere dele spletne strani smejo in katere ne smejo obiskati.

Lahko jo primerjate s tablico pri vhodu v stavbo. Vrata so delno odprta, druga pa so preprosto zaprta z listkom. Problem je, da podjetja včasih po naključju okačijo napačen listek. Namesto da bi zaprla samo eno zadnja vrata, zaprejo celo stavbo za obiskovalce, tudi najpomembnejše prostore.

Poleg poti, ki se smejo ali ne smejo obiskati, gre tudi za nekaj bolj subtilnega: datoteke, ki gradijo stran. Mislite na CSS, ki skrbi za oblikovanje, in JavaScript, ki skrbi za gibanje in interakcijo na strani. Če robots.txt te datoteke blokira, lahko Google obišče stran, vendar je ne vidi pravilno. Vidi samo prazno, pokvarjeno različico vaše spletne strani.

To je tesno povezano z drugim nadzorom: ali je vaša osrednja vsebina dostopna tudi brez JavaScripta, kot razlagamo pri osrednja vsebina je dostopna brez JavaScripta. Oba zagotavlja gre za isto vprašanje: ali lahko Google vidi vašo stran tako kot jo vidi obiskovalec, ali dobi Google nepopolno sliko, ki slabo oceni.

Zakaj je to več kot le tehnični podrobnost

Google uporablja postopek, ki se imenuje upodabljanje: iskalnik v bistvu ponovno gradi vašo stran, točno kot to naredi brskalnik, da vidi, kaj dejansko vidi obiskovalec. To je mogoče le, če ima Google dostop do vseh delov, ki so potrebni za to. Če je CSS ali JavaScript blokiran, Google vidi prazno stran brez oblikovanja, brez menija, včasih brez besedila, ki se naloži s skriptami.

Posledica je, da Google napačno oceni, o čem je vaša stran. Stran, ki izgleda obiskovalcem odličko, je za Google lahko nerazumljiva ali prazna. To ni vprašanje malo slabšega rezultata. Gre za to, da je spletna stran sploh ne upošteva, čeprav ste sami pri vsebini nič napačnega ne storili.

Obstaja razlika med stranjo, ki ne obstaja, in stranjo, ki obstaja, vendar je neizbrana. To se nanaša tudi na druga področja naše kontrolne liste, kot je vprašanje, ali izbrisana stran pravilno vrne status 404, kot razlagamo pri stran 404 je sama po sebi koristna. V obeh primerih gre za jasnost: pokažite Googlu, kaj je in kaj ni namenjena, da se najde.

Kako sami preverite, ali je pri vas v redu

V naslovno vrstico brskalnika vnesite ime domene, ki mu sledi /robots.txt. Pojavi se preprost seznam pravil, običajno z besedami, kot je 'Disallow', ki mu sledi pot. Disallow pomeni: to pot ne smejo obiskati. Preverite, ali je tam kaj, česar ne pričakujete, na primer le poševnica, kar pomeni, da je celotna spletna stran zaprta.

Posebej pazite na pravila, ki se nanašajo na mape z imeni, kot so /wp-content/, /assets/, /css/ ali /js/. To so pogosto natanko mape, v katerih se nahaja oblikovanje in interakcija vaše spletne strani. Če so te zaprte, je velika verjetnost, da Google vaših strani ne more pravilno upodobiti, čeprav je vse ostalo v datoteki videti nedolžno.

Google Search Console, brezplačna Googlova storitev za lastnike spletnih mest, ima test, s katerim lahko preverite določeno stran na težave z upodabljanjem. Vidite primer tega, kako Google vidi vašo stran. Če izgleda prazno ali pokvarjeno, medtem ko izgleda stran v vašem brskalniku odličko, je to jasen signal, da se nekaj ne nalaganja CSS, JavaScript ali slik.

Če ste v dvomih, ali je bila določena pot namenoma izključena ali po nesreči, se posvetujte s tistim, ki je zgradil vašo spletno stran. Nekatere blokade so namenske in smiselne, kot je izključitev notranjega rezultata iskanja, za kar se podrobneje pogovarjamo na straneh notranjega rezultata iskanja na noindex. Druge blokade so preprosto napake iz privzete nastavitve, ki je nikoli ni nihče preveril.

Kaj stane, če to ni v redu

Če robots.txt blokira pomembne poti, nezavedno zaprete dele svoje spletne strani za Google. To so lahko strani s proizvodi, članki na blogu ali celo celotna spletna stran po preselitvi v nov sistem. To se dogaja pogosteje, kot si ljudje mislijo, posebej po prenovi spletne strani, ko je nastavitev, ki je bila namenjena testnem okolju, po nesreči ostala na pravi spletni strani.

Gnusa je v tem, da tega ne opazite pri vsakodnevni uporabi spletne strani. Strani se preprosto naložijo, obiskovalci, ki prejejo neposredno povezavo, se lahko še vedno dostopajo. Le promet prek iskalnikov se počasi suši, brez jasnega razloga. Mnogi podjetniki nato vzrok iščejo v vsebini ali konkurenci, medtem ko je problem v tehnični datoteki, ki je nikoli niso odprli.

Ko so blokirani samo CSS in JavaScript, je učinek bolj suptilen, vendar ne manj škodljiv. Vaše strani so res še vedno vidne, vendar jih Google oceni na podlagi nepopolne slike. Besedilo, ki ga naloži skript, morda ne šteje. Stran, ki vam izgleda odličnoče, Google oceni kot revno vsebino, kar ima vse posledice za vašo pozicijo v rezultatih iskanja.

Popravilo običajno ni vprašanje mesečnega dela. Pogosto gre za spremembo nekaj vrstic v datoteki. Bistvo je, da problem najprej prepoznate. Brez nadzora blokada včasih leta ostane neopažena, preprosto zato, ker je nihče več ni pregledal, odkar je bila spletna stran zadnjič spremenjena.

Kaj je treba storiti, da to pride v red

Izhodišče je preprosto: robots.txt sme blokirati samo poti, ki jih namenoma želite izključiti, kot so stran za prijavo upraviteljev ali nakupovalni voziček, ki vsekakor ne bi smel biti v rezultatih iskanja. Vse, kar prispeva k temu, kako stran izgleda ali deluje, mora ostati dostopno. To je celoten princip tega nadzorne točke: ne zapirati brez razmisleka, ampak ciljno zapreti tam, kjer je to potrebno.

Naredite preverko te datoteke kot del širšega pregleda tega, kaj je treba indeksirati in kaj ne. Ta pregled, matrika indeksacije po vrsti strani, prikaže, katere strani bi morale biti vidne za Google in katere namenoma ne, kot razlagamo pri matriki indeksacije po vrsti strani. Robots.txt je potem instrument, s katerim se te odločitve izvršijo, ne pa mesto, kjer se te odločitve sprejemajo.

Preverite to datoteko ne samo pri gradnji spletne strani, ampak tudi po vsaki večji spremembi: preselitvi v drug sistem, novem graditelju spletnih strani ali prestrukturiranju spletne strani. To so natanko tisti trenutki, ko se nastavitve po nesreči prenesejo iz testnega okolja. Kratka kasnejša preverka prepreči, da bi bila začasna nastavitev trajno spremenjena.

Ne pozabite tudi, da robots.txt ne obstaja sam zase. Je tesno povezan z drugimi signali, ki jih pošiljate Google, kot je navodilo na ravni strani prek oznake noindex, o čemer več pri noindex prek meta robots ali X-Robots-Tag. Oba se ne smeta medsebojno nasprotovati. Stran, ki jo želite prikazati, ne sme biti odpreta prek enega kanala in na drugi strani še vedno blokirana.