Valóban látja a Google az Ön webhelyét?

Mi is ez a fájl valójában

Minden weboldalnak van, vagy kellene, hogy legyen egy robots.txt nevű fájlja. Megtalálhatja, ha domainnevét követően beírja a /robots.txt nevet, például uzleteve.hu/robots.txt. Ez a fájl az első, amelyet a Google olvas, mielőtt megtekintené az Ön helyét. Egyszerű szöveges formátumban van, és azt közli a keresőmotorokkal, hogy az oldal mely részét látogathatják meg és melyiket nem.

Összehasonlítható egy táblával egy épület bejáratánál. Néhány ajtó nyitva van, mások egyszerű cédulavál zárva. A probléma az, hogy a vállalatok néha véletlenül rossz cédulákat függesztenek ki. Ahelyett, hogy csak egy hátsó ajtót zárnának be, az egész épületet bezárják a látogatók elöl, beleértve a legfontosabb helyiségeket is.

Az engedélyezett vagy tiltott útvonalak mellett egy finomabb dologról is szó van: azokról a fájlokról, amelyek az oldalt felépítik. Gondoljon a CSS-re, amely az elrendezésért felelős, és a JavaScriptre, amely az oldal mozgásáért és interakcióért felelős. Ha a robots.txt ezeket a fájlokat blokkolja, a Google meglátogathatja az oldalt, de nem tudja megfelelően megtekinteni. Akkor az Ön webhelyének üres, sérült verzióját látja.

Ez szorosan kapcsolódik egy másik ellenőrzésponthoz: hogy a fő tartalma elérhető-e JavaScript nélkül is, amint azt a fő tartalma elérhető-e JavaScript nélkül címszó alatt kifejtjük. Mindkét pont ugyanazt a kérdést veti fel: láthatja-e a Google az oldalt úgy, ahogyan a látogató látja, vagy hiányos képet kap a Google, amely rosszul teljesít.

Miért ez több, mint egy technikai részlet

A Google egy renderingnek nevezett folyamatot használ: a keresőmotor alapvetően újraépíti az oldalt, pontosan úgy, ahogy egy böngésző tenné, hogy lássa, mit lát valójában a látogató. Ez csak akkor lehetséges, ha a Google hozzáférhet az összes olyan komponenshez, amely szükséges. Ha a CSS vagy JavaScript blokkolva van, a Google egy üres oldalt lát formázás nélkül, menü nélkül, néha a szöveggel együtt, amelyet a scriptek töltöttek be.

Ennek következménye az, hogy a Google rosszul becsüli meg, miről szól az Ön oldala. Egy olyan oldal, amely a látogatók számára remekül néz ki, a Google számára értelmezhetetlen vagy üres lehet. Ez nem egy kérdés a valamivel rosszabb teljesítményre. Ez arról van, hogy nem kerül bevételre, miközben Ön maga nem követett el hibát a tartalomban.

Van különbség egy oldal között, amely nem létezik, és egy oldal között, amely létezik, de elérhetetlen lett. Ez más pontokhoz is kapcsolódik a mérési listánkon, például a kérdésre, hogy egy törölt oldal megfelelően visszaadja-e a 404-es státuszt, ahogyan a 404-es oldal önmagában hasznos címszó alatt tárgyaljuk. Mindkét esetben a világosságról van szó: mutassa meg a Google-nak, mit szándékolt megtalalható legyen és mit nem.

Hogyan ellenőrizze saját maga, hogy az Ön helyén minden rendben van-e

Írja be domainnevét a /robots.txt után a böngésző címsorába. Megjelenik egy egyszerű szabályok listája, általában olyan szavakkal, mint a 'Disallow' (Tiltás), amelyet egy útvonal követ. A Disallow azt jelenti: ezt az útvonalat nem lehet meglátogatni. Ellenőrizze, hogy van-e ott valami, amit nem vár, például egy perjel önmagában, amely azt jelenti, hogy az egész oldal le van zárva.

Különösen figyeljen azokra a szabályokra, amelyek olyan mappákra vonatkoznak, mint a /wp-content/, /assets/, /css/ vagy /js/. Ezek gyakran pontosan azok a mappák, ahol az Ön webhelyének elrendezése és interakciója található. Ha ezek blokkolva vannak, nagy az esélye, hogy a Google nem tudja megfelelően renderelni az oldalait, még akkor is, ha a fájl többi része ártalmatlannak tűnik.

A Google Search Console, egy ingyenes Google-szolgáltatás weboldal-tulajdonosok számára, rendelkezik egy teszttel, amellyel egy adott oldalt ellenőrizhet a renderelési problémákra. Ott láthat egy példát arra, hogy a Google az oldalt hogyan észleli. Ha üres vagy sérültnek tűnik, miközben az oldal a böngészőben remekül néz ki, az egyértelmű jel arra, hogy valami nem működik a CSS, JavaScript vagy képek betöltésénél.

Ha kétségei vannak aziránt, hogy egy adott útvonal szándékosan vagy véletlenül lett-e kizárva, konzultáljon azzal, aki az Ön webhelyét felépítette. Egyes blokádok szándékosak és értelmesek, például egy belső keresési eredmény lezárása, amire külön kitérünk a noindex-szel rendelkező belső keresési eredmények oldalain. Más blokádok egyszerűen hibák, amelyek egy alapértelmezett beállításból származnak, amit soha nem ellenőriztek.

Mennyibe kerül, ha ez nincs rendben

Ha a robots.txt-ben fontos útvonalak vannak letiltva, akkor tudtán kívül a webhely részei elérhetetlen lesznek a Google számára. Ezek lehetnek termékoldal, blogcikkek vagy akár az egész webhely egy új rendszerre való átköltözés után. Ez gyakrabban fordul elő, mint sokan gondolják, különösen egy webhelymegújítás után, amikor egy tesztkörnyezetre szánt beállítás véletlenül az éles oldalon marad.

A tüskés része az, hogy a webhely mindennapi használatában nem vesz észre semmit. Az oldalak egyszerűen betöltődnek, az olyan látogatók, akik közvetlenül megkapják a linket, továbbra is hozzá tudnak férni. Csak a keresőmotorból származó forgalom csökken lassan, világos ok nélkül. Sok vállalkozó az okot akkor a tartalomban vagy a konkurenciában keresi, miközben a probléma egy technikai fájlban van, amely még soha nem volt megnyitva.

Ha csak a CSS és JavaScript van letiltva, a hatás finomabb, de nem kevésbé ártalmas. Az oldal továbbra is megtalálható marad, de a Google hiányos kép alapján értékeli. Az egy szkoódzsal betöltött szöveg talán nem számít. Egy oldal, amely Ön számára teljesen rendben néz ki, a Google által szegény tartalommal rendelkezőnek értékelve lesz, minden következménnyel a keresési eredmények közötti helyezésre nézve.

A helyreállítás általában nem hónapok munkájának kérdése. Gyakran csak néhány sor módosításáról van szó egy fájlban. A lényeg az, hogy először fel kell ismernie a problémát. Ellenőrzés nélkül egy blokád néha évekig felderítetlen marad, egyszerűen azért, mert senki nem nézte meg az után, hogy az oldal utoljára módosítva lett.

Mit kell tenni ahhoz, hogy ez rendben legyen

Az alapelv egyszerű: a robots.txt csak azokat az útvonalakat zárhatja le, amelyeket tudatosan ki akar zárni, például egy adminisztrátori bejelentkezési oldalt vagy egy bevásárlókocsit, amely soha nem kellene megjelennie a keresési eredményekben. Mindaz, ami hozzájárul ahhoz, hogyan néz ki vagy működik az oldal, továbbra is hozzáférhető maradnia kell. Ez az ellenőrzési pont egész elve: nem szorosan lezárni óvatosságból, hanem célzottan lezárni, ahol szükséges.

Ezt a fájlt a keresőmotorral való indexálás szélesebb körű áttekintésének részeként ellenőriztesse. Ez az áttekintés, egy paginatípusonkénti indexálási mátrix, feltérképezi, mely oldalak legyenek láthatóak a Google számára, és melyek tudatosan nem, ahogy azt egy paginatípusonkénti indexálási mátrix esetén részletezzük. A robots.txt akkor az az eszköz, amellyel ezek a döntések végrehajtódnak, nem az a hely, ahol ezek a döntések születnek.

Ne csak a webhely felépítésénél ellenőrizze ezt a fájlt, hanem minden nagyobb módosítás után is: egy másik rendszerre való átköltözés, egy új webhelyépítő, vagy a webhely átstrukturálása. Ezek pontosan azok a pillanatok, amikor a beállítások véletlenül a tesztkörnyezetből kerülnek át. A utólagos gyors ellenőrzés megakadályozza, hogy egy ideiglenes beállítás végleges legyen.

Azt is szem előtt kell tartani, hogy a robots.txt nem önmagában áll. Szorosan kapcsolódik azokhoz a más jelekhez, amelyeket a Google-nak ad, például az oldalszintű utasítás egy noindex címkén keresztül, amelyről a noindex meta robots vagy az X-Robots-Tag résznél olvashat többet. Mindkettőnek meg kell egyeznie. Egy oldal, amelyet mutatni szeretne, nem nyitható meg az egyik csatornán és nem lehet letiltva a másikon.