Kas Google tõesti teie veebisaiti näha saab?

Mis see fail siis tegelikult on

Igal veebisaidil on või peaks olema fail nimega robots.txt. Leiate selle, kirjutades oma domeeni järele /robots.txt, näiteks uwbedrijf.nl/robots.txt. See fail on esimene, mida Google loeb enne teie saiti vaatamist. See on tavalises tekstis ja ütleb otsingumootoritele, millised saidi osad nad külastada võivad ja millised ei.

Võite seda võrrelda hoone sissekäigu juures oleva sildi ja. Mõned uksed on lahti, teised on lihtsate märkmetega suletud. Probleem on selles, et ettevõtted riputavad mõnikord kogemata vale märkmete. Selle asemel, et ühe tagaukse kinni panna, suletakse terve hoone külastajatele, sealhulgas kõige olulisemad ruumid.

Lisaks teede juurde, mida külastada tohib või ei tohi, käib asi ka midagi peenemaks: failid, mis lehte üles ehitavad. Mõelge CSS-le, mis käsitleb vormindamist, ja JavaScriptile, mis käsitleb liikumist ja suhtlust lehel. Kui robots.txt need failid blokeerib, võib Google lehte küll külastada, kuid seda hästi näha ei saa. Siis näeb ta teie saidi paljastat, kahjustatud versiooni.

See on tihedalt seotud teise kontrollpunktiga: kas teie põhisisu on kättesaadav ka ilma JavaScriptita, nagu me selgitame jaotises kerninhoud is bereikbaar zonder JavaScript. Mõlemad punktid käsitlevad sama küsimust: kas Google näeb teie lehte nii, nagu külastaja seda näeb, või saab Google puuduliku pildi, mis halvasti punktide saab.

Miks see on rohkem kui tehniline detail

Google kasutab protsessi, mida nimetatakse renderimiseks: otsingumootor ehitab teie lehte sisuliselt ümber, täpselt nagu brauser seda teeb, et näha, mida külastaja tõesti näeb. See on võimalik ainult siis, kui Google võib külastada kõiki osi, mida selleks vaja on. Kui CSS või JavaScript on blokeeritud, näeb Google paljastat lehte ilma vormindamiseta, ilma menüüta, mõnikord ilma tekstita, mida skriptidega laaditakse.

Tagajärg on see, et Google valesti hindab, millest teie lehekülg käsitleb. Lehekülg, mis külastajatele ilusasti välja näeb, võib Googlele arusaamatu või tühi paista. See ei ole pelgalt veidi halvemini hindamise küsimus. See on mittekaasamise küsimus, kuigi te ei teinud sisusse endasse midagi valesti.

On vahe lehekülgedel, mis pole olemas, ja lehekülgedel, mis küll eksisteerivad, kuid kättesaamatuks on tehtud. See puudutab ka meie mõõteloendi muid punkte, nagu küsimus, kas kustutatud lehekülg korralikult 404-staatuse tagastab, nagu me arutame jaotises 404-lehekülg on ise kasulik. Mõlemal juhul käib see selgusest: näita Googlele, mida käib leida ja mida mitte.

Kuidas ise kontrollida, kas teil kõik korras on

Kirjutage oma domeeni nimi koos /robots.txt-ga oma brauseri aadressiritta. Ilmub lihtne reeglistik, tavaliselt sõnadega nagu "Disallow" järgneb teega. Disallow tähendab: seda teed ei tohi külastada. Vaadake, kas seal on midagi, mida te ei eelda, näiteks ainult kaldus joon, mis tähendab, et kogu sait on suletud.

Pöörake erilist tähelepanu reeglitele, mis viitavad kaustatele, mille nimed on nagu /wp-content/, /assets/, /css/ või /js/. Need on sageli täpselt need kaustakad, kus teie saidi vormindamine ja suhtlus asuvad. Kui need on blokeeritud, on suur tõenäosus, et Google teie lehekülgi korralikult renderida ei saa, isegi kui faili ülejäänud osa näib süütu.

Google Search Console, Googe'i tasuta teenus veebisaidi omanikele, sisaldab testi, millega saate kontrollida konkreetset lehekülge renderdamisprobleemide suhtes. Näete seal näidet, kuidas Google teie lehte tajub. Kui see näeb kalja või kahjustatud välja, kuigi teie brauseri lehekülg näeb ilusasti välja, siis on see selge signaal, et midagi valesti läheb CSS-i, JavaScripti või piltide laadimisel.

Kui kahtlete, kas teatud tee on tahtlikult välistatud või juhuslikult, konsulteerige siis veebisaidi ehitajaga. Mõned blokeeringud on tahtlikud ja mõistlikud, näiteks sisemise otsitulemuse sulgemine, mille kohta me eraldi räägime sisemise otsingutulemuste lehel noindex kohta. Muud blokeeringud on lihtsalt vead vaikimisi seadest, mida ei ole kunagi kontrollitud.

Millised on kulud, kui see pole korras

Kui robots.txt blokeerib olulisi teid, sulgete te märkamatult osa oma saidist Google'i jaoks. See võivad olla tootelehed, blogiartiklid või isegi kogu sait pärast kolimist uude süsteemi. See juhtub sagedamini kui inimesed arvavad, eriti pärast veebisaidi uuendamist, mil testimiskeskkonnale mõeldud säte jääb tahtmatult tegeliku saidiga.

Nõrk külg on see, et te ei märka sellest midagi oma igapäevasel saitide kasutamisel. Lehed laadivad lihtsalt, külastajad, kes saavad lingi otse, saavad siiski sinna juurde pääseda. Ainult otsingumootorite kaudu tulevalik kuivab aeglaselt ilma selge põhjuseta. Paljud ettevõtjad otsivad põhjust siis sisust või konkurentsiast, kuigi probleem asub tehnilises failis, mida nad kunagi pole avamata avanud.

Kui blokeeritakse ainult CSS ja JavaScript, on mõju pehmem, kuid mitte vähem kahjulik. Teie lehed jäävad küll leitavaks, kuid Google hindab neid mittetäieliku pildi põhjal. Tekst, mida skript laadib, ei pruugi arvesse minna. Leht, mis teile hästi välja näeb, hinnatakse Google'i poolt sisult vaeseks, kõikide tagajärgedega teie positsioonile otsitulemites.

Paranemine ei ole tavaliselt kuude jagu tööd. Tavaliselt käib tegemist paari rea muutmisega failis. Asi seisneb selles, et te peate probleem esmalt ära tundma. Ilma kontrollita jääb blokeeringud mõnikord aastaid märkamatuks, lihtsalt sellepärast, et keegi ei vaadanud selle järgi pärast viimast korda, kui sait parandati.

Mida tuleb teha, et see korda oleks

Lähtepunkt on lihtne: robots.txt võib blokeerida ainult teid, mida soovite tahtlikult välistada, näiteks administraatorite sisselogimislehte või ostukärri, mis ei peaks kunagi otsitulemites esinema. Kõik, mis aitab kaasa selle kohta, kuidas leht välja näeb või toimib, peab jääma juurdepääsetavaks. See on terve selle kontrollpunkti põhimõte: mitte protsessina lukudega sulgeda, vaid teadlikult sulgeda, kui see on vajalik.

Lase see fail kontrollida laiema ülevaate osana, mis tuleb indekseerida ja mis mitte. See ülevaade, indekseerimismaatriks lehetüübi kohta, loob kaardi, millised lehed peavad Google'ile nähtavad olema ja millised tahtlikult mitte, nagu me selgitame indekseerimismaatriks lehetüübi kohta juures. Robots.txt on siis instrument, millega need valikud ellu viiakse, mitte koht, kus neid valikuid käsitletakse.

Kontrollige seda faili mitte ainult saidi ehitamisel, vaid ka pärast iga suurt muudatust: kolimist teise süsteemi, uut veebisaidi ehitajat või saidi restruktureerimist. Need on täpselt need hetked, mil seadeid võetakse tahtmatult testimiskeskkonnast kaasa. Lühike kontroll hiljem hoiab ära, et ajutine säte muutuks püsivaks.

Pidage meeles ka, et robots.txt ei seisa üksi. See on tihedalt seotud muude signaalidega, mida Google'ile edastate, nagu lehekülje tasandi juhis noindex'i märgise kaudu, millest räägime rohkem noindex'i kohta meta robots'i või X-Robots-Tag'i abil. Mõlemad ei tohi omavahel vastuolus olla. Leht, mida soovite näidata, ei tohi ühe kanali kaudu avaneda ja teise kaudu siiski blokeerida.