Pot Google veure realment el vostre lloc web?

Què és, doncs, aquell fitxer

Cada lloc web té, o hauria de tenir, un fitxer anomenat robots.txt. El trobareu escrivint /robots.txt després del vostre nom de domini, per exemple empresavostre.cat/robots.txt. Aquest fitxer és el primer que Google llegeix abans de veure el vostre lloc. Està en text simple i indica als motors de cerca quines parts del lloc poden visitar i quines no.

Podeu comparar-lo amb un cartell a l'entrada d'un edifici. Algunes portes estan obertes, altres estan tancades amb un simple cartell. El problema és que les empreses de vegades penjolegen per accident el cartell incorrecte. En lloc de tancar una única porta de darrere, tanquen tot l'edifici als visitants, incloses les estances més importants.

A més dels camins que es poden o no visitar, hi ha alguna cosa més subtil: els fitxers que construeixen la pàgina. Penseu en CSS, que proporciona el format, i JavaScript, que proporciona moviment i interacció a la pàgina. Si robots.txt bloqueja aquests fitxers, Google pot visitar la pàgina, però no pot veure-la bé. Aleshores veu una versió nua i trencada del vostre lloc.

Això està estretament relacionat amb un altre punt de control: si el vostre contingut central és accessible sense JavaScript, tal com expliquem a el contingut central és accessible sense JavaScript. Ambdós punts parlen sobre la mateixa pregunta: pot Google veure la vostra pàgina tal com la veu un visitant, o obté una visió incompleta que puntua malament.

Per què això és més que un detall tècnic

Google utilitza un procés anomenat renderització: el motor de cerca reconstrueix essencialment la vostra pàgina, exactament com ho fa un navegador, per veure què veu realment un visitant. Això només és possible si Google pot accedir a tots els components necessaris. Si CSS o JavaScript es bloqueja, Google veu una pàgina nua sense format, sense menú, de vegades sense el text que es carrega amb scripts.

El resultat és que Google estima incorrectament de què tracta la vostra pàgina. Una pàgina que es veu bé pels visitants pot semblar incomprensible o buida per a Google. No és qüestió de puntuar una mica menys bé. Es tracta de no ser inclòs, mentre vosaltres no heu fet res malament en el propi contingut.

Hi ha una diferència entre una pàgina que no existeix i una pàgina que existeix però s'ha fet inaccessible. Això també afecta altres punts de la nostra llista de verificació, com ara la pregunta de si una pàgina eliminada retorna correctament un estat 404, tal com expliquem a la pàgina 404 és realment útil. En ambdós casos, es tracta de claredat: mostreu a Google què està destinat a ser trobat i què no.

Com comproveu vosaltres mateixos si tot és correcte

Escriviu el vostre nom de domini seguit de /robots.txt a la barra d'adreces del navegador. Apareix una llista simple de regles, generalment amb paraules com 'Disallow' seguides d'un camí. Disallow significa: aquest camí no pot ser visitat. Comproveu si hi ha res que no us esperaveu, com una simple barra obliqua, que significa que tot el lloc està tancat.

Presteu especial atenció a les regles que fan referència a carpetes amb noms com /wp-content/, /assets/, /css/ o /js/. Sovint són exactament les carpetes on es troben el format i la interacció del vostre lloc. Si estan bloquejades, és probable que Google no pugui renderitzar correctament les vostres pàgines, fins i tot si la resta del fitxer sembla innocent.

Google Search Console, un servei gratuït de Google per als propietaris de llocs web, té una prova amb la qual podeu comprovar una pàgina específica per a problemes de renderització. Allà veieu un exemple de com Google percep la vostra pàgina. Si es veu nua o trencada mentre la pàgina es veu bé al navegador, és un senyal clar que alguna cosa va malament en carregar CSS, JavaScript o imatges.

Si té dubtes sobre si una ruta específica s'ha exclòs deliberadament o per accident, consulti amb qui va construir el seu lloc web. Alguns bloqueigs són intencionats i sensats, com el tancament d'un resultat de cerca intern, un aspecte que tractarem per separat a les pàgines de resultats de cerca interna en noindex. Altres bloqueigs són simplement errors d'una configuració predeterminada que mai no s'ha revisat.

Què costa si això no és correcte

Si robots.txt bloqueja rutes importants, està tancant parts del seu lloc web per a Google sense adonar-se'n. Podrien ser pàgines de productes, articles de blog, o fins i tot el lloc web complet després d'una migració a un nou sistema. Això passa més sovint del que la gent pensa, especialment després d'una renovació del lloc web, quan una configuració destinada a l'entorn de prova es manté accidentalment al lloc en directe.

El perillós és que no se n'adona en l'ús diari del lloc web. Les pàgines es carreguen correctament, els visitants que reben l'enllaç directament encara hi poden accedir. Només el tràfic dels motors de cerca s'asseca lentament, sense una causa aparent. Molts empresaris busquen la causa al contingut o la competència, quan el problema es troba en un fitxer tècnic que mai no han obert.

Quan només el CSS i JavaScript es bloquegen, l'efecte és més subtil però no menys perjudicial. Les seves pàgines es mantenen descobertes, però Google les avalua sobre la base d'una imatge incompleta. El text que es carrega mitjançant un script pot no comptar-se. Una pàgina que es veu perfecta per a vostè, Google l'avalua com pobre en contingut, amb totes les conseqüències per a la seva posició en els resultats de cerca.

La reparació normalment no és qüestió de mesos de treball. Sovint es tracta d'ajustar unes poques línies en un fitxer. La qüestió és que primer ha de reconèixer el problema. Sense control, un bloqueig pot passar desapercebut durant anys, simplement perquè ningú no l'ha revisat després de l'última actualització del lloc.

Què ha de passar per posar-ho en ordre

El punt de partida és simple: robots.txt només pot bloquejar rutes que deliberadament vulgui excloure, com una pàgina de connexió per a administradors o un carretó de compra que mai no hauria d'aparèixer en resultats de cerca. Tot el que contribueix a com es veu o funciona la pàgina ha de romandre accessible. Aquest és tot el principi darrere d'aquest punt de control: no tancar per precaució, sinó tancar de manera dirigida quan és necessari.

Faci revisar aquest fitxer com a part d'una revisió més àmplia de què s'ha d'indexar i què no. Aquesta revisió, una matriu d'indexació per tipus de pàgina, identifica quines pàgines han de ser visibles per a Google i quines deliberadament no, tal com expliquem a una matriu d'indexació per tipus de pàgina. Robots.txt és doncs l'instrument amb el qual aquestes opcions s'executen, no el lloc on aquestes opcions es prenen.

Revisar aquest fitxer no només en la construcció del lloc, sinó també després de cada canvi important: una migració a un altre sistema, un nou constructor de llocs web, o una reestructuració del lloc. Aquests són precisament els moments en què les configuracions es porten accidentalment des d'un entorn de prova. Una breu revisió posterior evita que una configuració temporal es converteixi en permanent.

Tingui en compte també que robots.txt no està sol. Està estretament relacionat amb altres senyals que envia a Google, com la instrucció a nivell de pàgina mitjançant una etiqueta noindex, de la qual en parlo més a noindex a través de meta robots o la X-Robots-Tag. Tots dos no han de contraddir-se. Una pàgina que vol mostrar no ha de ser oberta a través d'un canal i bloquejada a través d'un altre.