Vie Google naozaj vidí vašu webovú stránku?

Čo je to vlastne za súbor

Každá webová stránka má, alebo by mala mať, súbor s názvom robots.txt. Nájdete ho tak, že za názov vašej domény zadáte /robots.txt, napríklad vasa-spolocnost.sk/robots.txt. Tento súbor je prvý, ktorý Google prečíta skôr, ako si prehliadne vašu stránku. Obsahuje čistý text a informuje vyhľadávacie stroje, ktoré časti stránky môžu a ktoré nemôžu navštíviť.

Môžete si to predstaviť ako tabuľku pri vchode do budovy. Niektoré dvere sú otvorené, iné sú zatvorené jednoduchým lístkom. Problém je v tom, že podniky niekedy omylom zavesia nesprávny lístok. Namiesto toho, aby zatvorili iba jedny zadné dvere, uzatvoria celú budovu pred návštevníkmi vrátane najdôležitejších miestností.

Okrem ciest, ktoré je alebo nie je povolené navštevovať, ide aj o niečo jemnejšie: súbory, ktoré tvoria stránku. Myslite na CSS, ktoré sa stará o formátovanie, a JavaScript, ktorý zaisťuje animácie a interakciu na stránke. Ak robots.txt tieto súbory zablokuje, Google síce môže navštíviť stránku, ale nemôže ju poriadne vidieť. Vidí potom nahú, pokadenú verziu vašej stránky.

To úzko súvisí s ďalším kontrolným bodom: či je váš základný obsah dostupný aj bez JavaScriptu, ako vysvetľujeme v časti základný obsah je dostupný bez JavaScriptu. Oba body sa týkajú tej istej otázky: vidí Google vašu stránku tak, ako ju vidí návštevník, alebo má Google neúplný obraz, ktorý boduje zle.

Prečo ide o viac ako len technický detail

Google používa proces nazývaný vykreslenie: vyhľadávací stroj v podstate rekonštruuje vašu stránku presne tak, ako by to urobil prehliadač, aby videl, čo návštevník naozaj vidí. To je možné iba vtedy, ak má Google prístup ku všetkým komponentom, ktoré sú na to potrebné. Ak sú CSS alebo JavaScript zablokované, Google vidí nahú stránku bez formátovania, bez menu, niekedy bez textu, ktorý sa načítava pomocou skriptov.

Dôsledkom je, že Google nesprávne posúdi, o čom vaša stránka je. Stránka, ktorá vyzerá úplne v poriadku pre návštevníkov, môže pre Google vyzerať nezrozumiteľne alebo prázdna. Nejde o to, aby skórovala o niečo horšie. Ide o to, aby sa vôbec nezaradila, hoci ste neurobili nič zle na samotnom obsahu.

Existuje rozdiel medzi stránkou, ktorá neexistuje, a stránkou, ktorá existuje, ale bola nedostupná. To sa týka aj ďalších bodov v našom zozname kontrol, ako napríklad otázka, či odstránená stránka vhodne vráti stav 404, ako diskutujeme v časti samotná stránka 404 je nápomocná. V oboch prípadoch ide o jasnosť: ukážte Googlu, čo má a nemá byť nájdené.

Ako si sami skontrolujete, že je všetko v poriadku

Do adresného riadka svojho prehliadača zadajte názov svojej domény, za ktorým nasleduje /robots.txt. Zobrazí sa jednoduchý zoznam pravidiel, zvyčajne so slovami ako "Disallow" nasledovaných cestou. Disallow znamená: táto cesta nesmie byť navštívená. Skontrolujte, či tam nie je niečo, čo neočakávate, ako napríklad len lomka, čo znamená, že je celá stránka zatvorená.

Venujte osobitnú pozornosť pravidlám, ktoré sa týkajú adresárov s názvami ako /wp-content/, /assets/, /css/ alebo /js/. Toto sú často presne tie adresáre, v ktorých sa nachádza formátovanie a interakcia vašej stránky. Ak sú tieto zablokované, je veľká pravdepodobnosť, že Google vaše stránky nemôže správne vykresliť, aj keď zvyšok súboru vyzerá nevinný.

Google Search Console, bezplatná služba Googlu pre vlastníkov webových stránok, má test, pomocou ktorého môžete skontrolovať konkrétnu stránku na problémy s vykresľovaním. Tam uvidíte príklad toho, ako Google vašu stránku vníma. Ak vyzerá nahá alebo poškodená, zatiaľ čo stránka v prehliadači vyzerá úplne v poriadku, je to jasný signál, že sa niečo pokazí pri načítavaní CSS, JavaScriptu alebo obrázkov.

Ak si nie ste istí, či bol určitý priebeh zámerne vylúčený alebo omylom, poraďte sa s tým, kto vám postavil webovú lokalitu. Niektoré blokády sú zámerne a rozumné, napríklad uzavretie interného výsledku vyhľadávania, čomu venujeme osobitnú pozornosť na stránkach interných výsledkov vyhľadávania s noindex. Iné blokády sú jednoducho chyby zo štandardného nastavenia, ktoré nebolo nikdy skontrolované.

Čo to stojí, ak to nie je v poriadku

Ak robots.txt blokuje dôležité cesty, bez toho, aby ste si to uvedomili, zatvárate časti svojej lokality pred Googlom. Môžu to byť stránky produktov, články na blogu alebo dokonca celá lokalita po presťahovaní sa do nového systému. K tomu dochádza častejšie, ako si ľudia myslia, najmä po obnovení webovej lokality, keď nastavenie určené pre testovacie prostredie omylom zostane na skutočnej lokalite.

Zákernosť spočíva v tom, že si toho v každodennom používaní lokality nevšimnete. Stránky sa jednoducho načítavajú, návštevníci, ktorí dostanú odkaz priamo, sa tam dostanú. Iba prevádzka z vyhľadávačov pomaly vysychá bez jasného dôvodu. Mnohí podnikatelia potom hľadajú príčinu v obsahu alebo konkurencii, zatiaľ čo problém spočíva v technickom súbore, ktorý nikdy neotvorili.

Keď sú blokované iba CSS a JavaScript, je efekt jemnejší, ale nie menej škodlivý. Vaše stránky zostávajú objaviteľné, ale Google ich hodnotí na základe neúplného obrazu. Text, ktorý sa načítava skriptom, možno nezapočítava. Stránka, ktorá pre vás vyzerá perfektne, je spoločnosťou Google hodnotená ako chúdá na obsah, so všetkými dôsledkami pre vašu pozíciu vo výsledkoch vyhľadávania.

Oprava zvyčajne nie je otázka mesiacov práce. Často ide o úpravu pár riadkov v súbore. Pointa je v tom, že musíte problém najskôr rozpoznať. Bez kontroly zostane bloková niekedy roky neodhalená, jednoducho preto, že sa nikto nepozrel po poslednej úprave lokality.

Čo je potrebné urobiť, aby bolo všetko v poriadku

Východisková pozícia je jednoduchá: robots.txt smie blokovať iba cesty, ktoré chcete zámerne vylúčiť, napríklad prihlásovaciu stránku pre správcov alebo nákupný košík, ktorý by nikdy nemal byť vo výsledkoch vyhľadávania. Všetko, čo prispieva k vzhľadu alebo fungovaniu stránky, musí zostať dostupné. To je celý princíp tejto kontroly: nezatvárať z opatrnosti, ale zámerne zatvoriť tam, kde je to potrebné.

Nechajte tento súbor skontrolovať ako súčasť širšieho prehľadu toho, čo by malo a čo nemalo byť indexované. Tento prehľad, matica indexácie podľa typu stránky, mapuje, ktoré stránky by mali byť viditeľné pre Google a ktoré nie, ako vysvetľujeme v matici indexácie podľa typu stránky. Robots.txt je potom nástrojom, ktorým sa tieto voľby vykonávajú, nie miestom, kde sa tieto voľby zvažujú.

Skontrolujte tento súbor nielen pri budovaní lokality, ale aj po každej väčšej zmene: presťahovaní sa na iný systém, novom tvorcovi webovej lokality alebo prestrukturovaní lokality. To sú presne momenty, keď sa nastavenia omylom prenesú z testovacej lokality. Krátka kontrola neskôr zabráni tomu, aby sa dočasné nastavenie stalo trvalým.

Pamätajte tiež, že robots.txt nie je samostatným súborom. Je úzko spojené s inými signálmi, ktoré dávate Googlu, ako je pokyn na úrovni stránky prostredníctvom značky noindex, o ktorej sa dozviete viac v noindex prostredníctvom meta robots alebo X-Robots-Tag. Obaja sa nesmú vzájomne odporovať. Stránka, ktorú chcete ukázať, nesmie byť otvorená cez jeden kanál a stále blokovaná cez druhý.