Může Google skutečně zobrazit vaše webové stránky?

Co přesně je to za složku?

Každý web má nebo by měl mít soubor s názvem robots.txt. Najdete ji zadáním /robots.txt za název domény, například yourcompany.nl/robots.txt. Tento soubor je první věc, kterou Google přečte před prohlížením vašeho webu. Je tam v prostém textu a říká vyhledávačům, které části webu mohou a nemohou navštívit.

Můžete to porovnat se značkou u vchodu do budovy. Některé dveře jsou otevřené, jiné jsou zavřeny jednoduchou poznámkou. Problém je v tom, že společnosti někdy omylem vložily špatnou poznámku. Místo zavření zadních dveří zavírají návštěvníkům celou budovu, včetně nejdůležitějších oblastí.

Kromě cest, které mohou nebo nemusí být navštíveny, jde také o něco jemnějšího: soubory, které vytvářejí stránku. Myslete na CSS, který poskytuje rozvržení, a JavaScript, který zajišťuje pohyb a interakci na stránce. Pokud soubor robots.txt blokuje tyto soubory, Google může stránku navštívit, ale nezobrazit ji správně. Poté uvidí holou, rozbitou verzi vašeho webu.

To úzce souvisí s dalším kontrolním bodem: zda je váš základní obsah přístupný také bez JavaScriptu, jak vysvětlíme, kdy je základní obsah přístupný bez JavaScriptu. Oba body se týkají stejné otázky: může Google vidět vaši stránku tak, jak ji vidí návštěvník, nebo Google získá neúplný obrázek, který má špatné skóre.

Proč je to víc než jen technický detail

Google používá proces zvaný vykreslování: vyhledávač skutečně vytvoří vaši stránku, stejně jako prohlížeč, aby viděl, co návštěvník skutečně vidí. To je možné pouze v případě, že Google má přístup ke všem komponentám, které jsou k tomu nezbytné. Když je CSS nebo JavaScript blokován, Google vidí holou stránku bez rozvržení, bez nabídky, někdy bez skriptovaného textu.

Výsledkem je, že Google špatně odhaduje, o čem vaše stránka je. Stránka, která návštěvníkům vypadá dobře, se může Googlu zdát nepochopitelná nebo prázdná. Nejde o to, abychom skórovali jen o něco méně dobře. Jde o to, abyste nebyli zahrnuti, i když jste se samotným obsahem neudělali nic špatného.

Existuje rozdíl mezi stránkou, která neexistuje, a stránkou, která existuje, ale byla nepřístupná. To se dotýká i dalších bodů v našem seznamu měření, například zda odstraněná stránka správně vrací stav 404, jak diskutujeme se samotnou stránkou 404, je užitečné. V obou případech jde o jasnost: ukažte Googlu, co je a co nemá být nalezeno.

Jak zkontrolovat, zda jste v pořádku

Do adresního řádku prohlížeče zadejte název domény následovaný /robots.txt. Zobrazí se jednoduchý seznam pravidel, obvykle se slovy jako „Zakázat“ následovaná cestou. Zakázat znamená: tuto cestu nelze navštívit. Podívejte se, jestli je něco, co neočekáváte, například samotné lomítko, což znamená, že celý web je vypnutý.

Věnujte zvláštní pozornost pravidlům, která odkazují na adresáře s názvy jako /wp-content/, /assets/, /css/ nebo /js/. Často se jedná o složky, které obsahují rozložení a interakci vašeho webu. Pokud jsou blokovány, existuje velká šance, že Google nebude schopen správně vykreslit vaše stránky, i když se zbytek souboru jeví jako neškodný.

Google Search Console, bezplatná služba Google pro vlastníky webových stránek, má test, který vám umožní zkontrolovat konkrétní stránku, zda neobsahuje problémy s vykreslováním. Zde je příklad toho, jak Google vidí vaši stránku. Pokud vypadá holá nebo rozbitá, zatímco stránka ve vašem prohlížeči vypadá dobře, je to jasné znamení, že při načítání CSS, JavaScriptu nebo obrázků něco není v pořádku.

Pokud si nejste jisti, zda je určitá cesta záměrně vyloučena nebo omylem, poraďte se s tím, kdo vaši webovou stránku vytvořil. Některé bloky jsou vědomé a rozumné, například uzavření výsledku vnitřního vyhledávání, čímž se zabýváme zvlášť u stránek s výsledky vnitřního vyhledávání na noindex. Jiné bloky jsou prostě chyby výchozího nastavení, které nikdy nebyly zkontrolovány.

Co stojí, když to není v pořádku

Pokud robots.txt blokuje důležité cesty, bez vědomí si uzavřete části své stránky před Googlem. Může jít o stránky produktů, články blogů nebo dokonce celou stránku po přesunu na nový systém. K tomu dochází mnohem oftěji, než si lidé myslí, zejména po obnově webu, kdy nastavení určené pro testovací prostředí omylem zůstane na skutečné stránce.

Zákeřné na tom je, že si toho ve své každodenní práci se stránkou ničeho nevšimnete. Stránky se jednoduše načítají, návštěvníci, kteří dostanou odkaz přímo, se tam pořád dostanou. Pouze provoz ze vyhledavačů pomalu vysychá, bez jasné příčiny. Mnoho podnikatelů pak hledají příčinu v obsahu nebo konkurenci, zatímco problém spočívá v technickém souboru, který nikdy neotevřeli.

Když jsou blokovány pouze CSS a JavaScript, účinek je jemnější, ale ne méně škodlivý. Vaše stránky zůstávají nalezitelné, ale Google je posuzuje na základě neúplného obrázku. Text, který se načítá skriptem, se nemusí počítat. Stránka, která vypadá pro vás výborně, je Googlem posuzována jako chudá na obsah, se všemi důsledky pro vaši pozici ve výsledcích vyhledávání.

Náprava obvykle není otázkou měsíců práce. Často jde o úpravu pár řádků v souboru. Problém je v tom, že musíte nejdřív problém poznat. Bez kontroly zůstane blokáda někdy roky nepovšimnutá, jednoduše proto, že jí nikdo od poslední úpravy stránky nevěnoval pozornost.

Co se musí stát, aby se to dalo do pořádku

Výchozí bod je jednoduchý: robots.txt smí blokovat pouze cesty, které chcete vědomě vyloučit, například přihlašovací stránku pro správce nebo nákupní košík, který by nikdy neměl objevit se ve výsledcích vyhledávání. Vše, co přispívá k vzhledu nebo fungování stránky, musí zůstat přístupné. To je celý princip tohoto kontrolního bodu: nezatvírat z opatrnosti, ale cíleně zavírat tam, kde je to nutné.

Nechejte tento soubor zkontrolovat jako součást širšího přehledu toho, co by mělo a co nemělo být indexováno. Tento přehled, matice indexace na typ stránky, mapuje, které stránky by měly být viditelné pro Google a které vědomě ne, jak vysvětlujeme u matice indexace na typ stránky. Robots.txt je pak nástrojem, kterým se tyto volby provádějí, nikoli místem, kde se tyto volby tvoří.

Kontrolujte tento soubor nejen při budování stránky, ale také po každé větší změně: přesunu na jiný systém, nového tvůrce webových stránek nebo reorganizaci stránky. Právě v těchto chvílích se nastavení omylem přenesou z testovacího prostředí. Krátká následná kontrola zabrání tomu, aby se dočasné nastavení stalo trvalým.

Mějte na paměti také, že robots.txt si nestojí samo. Je úzce spojeno s dalšími signály, které dáváte Googlu, jako je instrukce na úrovni stránky přes tag noindex, o kterém více ve noindex přes meta robots nebo X-Robots-Tag. Obě nesmí si odporovat. Stránka, kterou chcete zobrazit, nesmí být otevřena jedním kanálem a přitom zablokována v druhém.