Getur Google virkilega skoðað vefsíðu þína?

Hvað er sú skrá eiginlega

Hver vefsíða hefur, eða ætti að hafa, skrá sem heitir robots.txt. Þú finnur hana með því að slá inn /robots.txt á eftir léni þínu, til dæmis fyrirtaekid.is/robots.txt. Þessi skrá er það fyrsta sem Google les áður en það skoðar vefsíðu þína. Hún er í venjulegum texta og segir leitarvélum hvaða hluta vefsíðunnar þeir mega og mega ekki heimsækja.

Þú getur borið það saman við skilti við inngang byggingar. Sumar hurðir eru opnar, aðrar eru lokaðar með einföldum seðli. Vandamálið er að fyrirtæki setja stundum rangt skilti fyrir slysni. Í stað þess að loka einni bakhurð, loka þau allri byggingu fyrir gestum, þar með talið mikilvægastum stofum.

Fyrir utan göngur sem mega eða mega ekki heimsækja fer það einnig um eitthvað duttlugt: skrárnar sem byggja upp síðuna. Hugsaðu um CSS, sem sér um snið, og JavaScript, sem sér um hreyfingu og gagnvirkni á síðunni. Ef robots.txt lokar þessum skrám, getur Google heimsótt síðuna, en getur ekki skoðað hana rétt. Það sér þá klaka, brotna útgáfu af vefsíðu þinni.

Þetta tengist náið öðrum eftirlitspunkti: hvort er kjarnefni þitt einnig aðgengilegt án JavaScript, eins og við útskýrum þegar kjarnefni er aðgengilegt án JavaScript. Báðir punktar snúast um sömu spurningu: getur Google skoðað síðu þína eins og gestur myndi sjá hana, eða fær Google ófullnægjandi mynd sem skorar illa.

Af hverju þetta er meira en tæknileg smáatriði

Google notar ferli sem kallast birting: leitarvélin byggir vefsíðu þína í raun upp, alveg eins og vafri gerir það, til að sjá hvað gestur fær í raun að sjá. Það getur aðeins gerst ef Google má fá aðgang að öllum hlutum sem þarf til þess. Ef CSS eða JavaScript er lokað er síðan sem Google sér þökkur án sniðs, án valmynda, stundum án texta sem er hlaðinn með skriftum.

Niðurstaðan er að Google misreiknar hvað síða þín snýst um. Síða sem lítur þér út fyrir að vera flott fyrir gesti getur litið óskiljanlegt eða tómt fyrir Google. Það er ekki spurning um að skora aðeins illa. Það er spurning um að ekki vera tekin með á meðan þú gerðir ekki neitt rangt við efnið sjálft.

Það er munur á síðu sem ekki er til og síðu sem er til en hefur verið gerð óaðgengileg. Það snertir einnig aðra punkta á mælingalistanum okkar, svo sem hvort eytt síða gefi rétt 404-stöðu, eins og við fjöllum um þegar 404-síðan sjálf er gagnleg. Í báðum tilfellum fer það um skýrleika: sýndu Google hvað er og er ekki ætlað að finnast.

Hvernig þú getur sjálf athugað hvort allt sé í lagi hjá þér

Sláðu inn léni þitt á eftir /robots.txt í vistfangsslá vafrans þíns. Einfalt sett af reglum birtist, yfirleitt með orðum eins og 'Disallow' á eftir slóð. Disallow þýðir: þessari slóð má ekki heimsækja. Athugaðu hvort eitthvað sé þar sem þú bjóst ekki við, eins og skálína ein og sér, sem þýðir að öll vefsíðan sé lokuð.

Gefðu acht sérstaklega á reglur sem vísa til möppa með nöfnum eins og /wp-content/, /assets/, /css/ eða /js/. Þetta eru oft einmitt mörpin þar sem snið og gagnvirkni vefsíðu þinnar sitja. Standa þau lokuð er mikil líkindi á því að Google geti ekki birt síður þínar rétt, jafnvel þó annað í skránni virðist ósaklaust.

Google Search Console, ókeypis þjónusta Google fyrir vefsíðueigendur, hefur próf sem gerir þér kleift að athuga tiltekna síðu fyrir birtingarvandamál. Þú sérð þar dæmi um hvernig Google skynja vefsíðu þína. Lítur það þökkur eða brotið út þar sem síðan lítur góð út í vafra þínum, þá er það skýr merki um að eitthvað fari úrskeiðis við hleðslu CSS, JavaScript eða mynda.

Efast þið hvort ákveðin slóð hafi verið útilokuð af ásetningi eða fyrir tilviljun, þá boriðst til þess sem byggði vefsíðu ykkar. Sumar blokanir eru viljandi og skynsamlegar, svo sem lokun á innri leitarniðurstöðum, sem við fjöllum sérstaklega um á síðum innri leitarniðurstaða með noindex. Aðrar blokanir eru einfaldlega mistök frá sjálfgefnum stillingu sem aldrei hefur verið yfirfarin.

Hvað það kostar ef þetta er ekki í lagi

Ef robots.txt lokar mikilvægum slóðum, þá lokið þið óafvitandi hlutum vefsíðu ykkar fyrir Google. Það geta verið afurðasíður, bloggfærslur, eða jafnvel allri síðunni eftir flutning til nýs kerfis. Þetta gerist oftar en menn halda, sérstaklega eftir endurkóðun vefsíðu, þar sem stilling sem ætluð var fyrir prófunarumhverfið gleymdist óvart á alvöru síðunni.

Það sem er erfiðlegt við þetta er að þið takið endalaust eftir því við daglega notkun á síðunni. Síðurnar hlaðast bara, og gestir sem fá tengilinn beint geta enn komist þangað. Einungis umferðin frá leitarvélum minnkar hægt og rólega, án skýrs ástæðu. Margir aðilar leita þá að orsökum í efni eða samkeppni, en vandamálið sitir í tæknilegri skrá sem þeir hafa aldrei opnað.

Þegar einungis CSS og JavaScript eru útilokuð, er áhrifið djarflega en ekki minna skaðlegt. Síðurnar þínar eru enn heimilaðar til að leita, en Google metur þær á grundvelli ófullnægjandi myndar. Texti sem forrit hleður inn gæti ekki reiknast með. Síða sem lítur frábær út fyrir ykkur verður metin af Google sem með litla efni, með öllum afleiðingum fyrir stöðu ykkar í leitarniðurstöðum.

Endurkoma er yfirleitt ekki spurning um marga mánuði af vinnu. Oft snýst um að breyta nokkrum línum í skrá. Málið er að þið þurfið fyrst að þekkja vandamálið. Án eftirfylgni getur blokun stundum látið sjálf sig í friði í mörg ár, einfaldlega vegna þess að enginn leit eftir henni eftir að síðunni var síðast breytt.

Hvað verður að gera til að fá þetta í lag

Grunn er einfaldur: robots.txt má aðeins loka slóðum sem þið viljið meðvitað útiloka, svo sem innskráningarsíðu fyrir stjórnendur eða innkaupakörfu sem ætti endalaust að birtast í leitarniðurstöðum. Allt sem stuðlar að því hvernig síðan birtist eða virkar verður að vera aðgengilegt. Það er allt meginefnið á bak við þetta eftirlitspunkt: ekki lokið á móti varúðarástæðum, heldur markvisst lokað þar sem nauðsyn krefur.

Bariðst til þess að fá þessa skrá rýnd sem hluta af víðtækara yfirliti um hvað ætti og ætti ekki að verða auðkennt. Það yfirlit, indexatikerfi fyrir hverja síðugerð, sýnir fram á hvaða síður ættu að vera sýnilegar Google og hvaða síður ekki, svo sem við útskýrum í indexatikerfismyndun fyrir hverja síðugerð. Robots.txt er þá tækið sem þær ákvarðanir eru framkvæmdar með, en ekki staðurinn þar sem þær ákvarðanir eru teknar.

Rýnið þessa skrá ekki aðeins við byggingu síðunnar, heldur einnig eftir hverja stærri breytingu: flutning á annað kerfi, nýjan vefsíðubyggjandi eða endurskipulagningu á síðunni. Þetta eru einmitt þau augnablik þegar stillingar gleymdist óvart úr prófunarumhverfi. Stutt gátun eftir á kemur í veg fyrir að tímabundin stilling verði varanleg.

Munið einnig að robots.txt stendur ekki ein. Það er þétt tengt við önnur merki sem þið gefið Google, svo sem fyrirmæli á síðu með noindex-merki, um sem er meira að segja við noindex með meta robots eða X-Robots-Tag. Báðir skulu ekki andmæla hvort öðru. Síða sem þið viljið sýna má ekki vera opnuð á einum rás og ennþá útilokuð á annarri.