Google riesce davvero a visualizzare il vostro sito web?

Ma che cos'è effettivamente questo file

Ogni sito web ha, o dovrebbe avere, un file denominato robots.txt. Lo trovate digitando /robots.txt dopo il vostro nome di dominio, ad esempio azienda.it/robots.txt. Questo file è il primo che Google legge prima di visualizzare il vostro sito. È scritto in testo semplice e comunica ai motori di ricerca quali parti del sito possono e non possono visitare.

Potete paragonarlo a un cartello all'ingresso di un edificio. Alcune porte sono aperte, altre sono chiuse con un semplice avviso. Il problema è che le aziende a volte appongono accidentalmente l'avviso sbagliato. Invece di chiudere solo una porta sul retro, chiudono l'intero edificio ai visitatori, compresi gli spazi più importanti.

Oltre ai percorsi che possono o non possono essere visitati, c'è anche qualcosa di più sottile: i file che costituiscono la pagina. Pensate al CSS, che fornisce la formattazione, e a JavaScript, che fornisce movimento e interattività sulla pagina. Se robots.txt blocca questi file, Google può visitare la pagina, ma non può visualizzarla correttamente. Vede una versione spoglia e danneggiata del vostro sito.

Questo è strettamente legato a un altro punto di controllo: se il vostro contenuto principale è accessibile anche senza JavaScript, come spieghiamo in il contenuto principale è accessibile senza JavaScript. Entrambi i punti riguardano la stessa domanda: Google può vedere la vostra pagina come la vede un visitatore, oppure ottiene un'immagine incompleta che ottiene un punteggio scarso.

Perché questo è più di un semplice dettaglio tecnico

Google utilizza un processo chiamato rendering: il motore di ricerca ricostruisce essenzialmente la vostra pagina, esattamente come fa un browser, per vedere cosa vede effettivamente un visitatore. Questo è possibile solo se Google ha accesso a tutti i componenti necessari. Se CSS o JavaScript sono bloccati, Google vede una pagina spoglia senza formattazione, senza menu, a volte senza il testo caricato tramite script.

Di conseguenza, Google valuta male di cosa parla la vostra pagina. Una pagina che appare perfettamente ai visitatori può sembrare incomprensibile o vuota per Google. Non è una questione di ottenere semplicemente un punteggio leggermente peggiore. È una questione di non essere inclusi, pur non avendo commesso alcun errore nel contenuto stesso.

C'è una differenza tra una pagina che non esiste e una pagina che esiste ma è stata resa inaccessibile. Questo riguarda anche altri punti della nostra checklist, come la domanda se una pagina rimossa restituisce correttamente uno stato 404, come spieghiamo in la pagina 404 stessa è utile. In entrambi i casi si tratta di chiarezza: fate sapere a Google cosa è e cosa non è destinato a essere trovato.

Come verificare di persona se tutto è in ordine

Digitate il vostro nome di dominio seguito da /robots.txt nella barra degli indirizzi del vostro browser. Appare un semplice elenco di regole, di solito con parole come 'Disallow' seguite da un percorso. Disallow significa: questo percorso non può essere visitato. Verificate se c'è qualcosa che non vi aspettate, come una semplice barra, che significa che l'intero sito è bloccato.

Fate particolare attenzione alle regole che si riferiscono a cartelle con nomi come /wp-content/, /assets/, /css/ o /js/. Questi sono spesso esattamente i file in cui si trova la formattazione e l'interattività del vostro sito. Se questi sono bloccati, c'è una buona probabilità che Google non possa renderizzare correttamente le vostre pagine, anche se il resto del file sembra innocuo.

Google Search Console, un servizio gratuito di Google per i proprietari di siti web, ha uno strumento di test che consente di controllare una pagina specifica per problemi di rendering. Potete vedere un'anteprima di come Google percepisce la vostra pagina. Se appare spoglia o danneggiata mentre la pagina nel vostro browser appare perfetta, è un segnale chiaro che qualcosa non va nel caricamento di CSS, JavaScript o immagini.

Se dubitate se un determinato percorso è stato escluso intenzionalmente o per errore, consultate chi ha costruito il vostro sito web. Alcuni blocchi sono consapevoli e ragionevoli, come l'esclusione di un risultato di ricerca interno, argomento che affrontiamo separatamente nelle pagine dei risultati di ricerca interna con noindex. Altri blocchi sono semplicemente errori derivanti da un'impostazione predefinita che non è mai stata controllata.

Quali sono i costi se non è in ordine

Se robots.txt blocca percorsi importanti, chiudete senza accorgervene parti del vostro sito a Google. Potrebbero essere pagine di prodotto, articoli di blog, o persino l'intero sito dopo una migrazione verso un nuovo sistema. Questo accade più spesso di quanto la gente pensi, soprattutto dopo un rinnovamento del sito web, quando un'impostazione destinata all'ambiente di test rimane accidentalmente sul sito reale.

La cosa insidiosa è che non ve ne accorgete nell'uso quotidiano del sito. Le pagine si caricano semplicemente, i visitatori che ricevono il link diretto possono comunque raggiungerle. Solo il traffico dai motori di ricerca diminuisce gradualmente, senza una ragione evidente. Molti imprenditori cercano allora la causa nel contenuto o nella concorrenza, mentre il problema si trova in un file tecnico che non hanno mai aperto.

Quando solo CSS e JavaScript sono bloccati, l'effetto è più sottile ma non meno dannoso. Le vostre pagine rimangono comunque visibili, ma Google le valuta sulla base di un'immagine incompleta. Il testo caricato da uno script potrebbe non contare. Una pagina che per voi appare perfetta, viene valutata da Google come povera di contenuti, con tutte le conseguenze per la vostra posizione nei risultati di ricerca.

Il ripristino di solito non è una questione di mesi di lavoro. Spesso si tratta di adattare poche righe in un file. Il punto è che prima dovete riconoscere il problema. Senza controllo, un blocco a volte rimane inosservato per anni, semplicemente perché nessuno ci ha più guardato dopo l'ultimo adattamento del sito.

Cosa deve essere fatto per metterlo in ordine

Il principio è semplice: robots.txt deve bloccare solo i percorsi che intenzionalmente volete escludere, come una pagina di accesso per gli amministratori o un carrello della spesa che comunque non dovrebbe apparire nei risultati di ricerca. Tutto ciò che contribuisce all'aspetto o al funzionamento della pagina deve rimanere accessibile. Questo è l'intero principio dietro questo punto di controllo: non chiudere tutto per precauzione, ma bloccare in modo mirato dove necessario.

Fate controllare questo file come parte di una panoramica più ampia di ciò che dovrebbe e non dovrebbe essere indicizzato. Questa panoramica, una matrice di indicizzazione per tipo di pagina, delinea quali pagine devono essere visibili a Google e quali consapevolmente no, come spieghiamo in una matrice di indicizzazione per tipo di pagina. Robots.txt è allora lo strumento con cui vengono eseguite queste scelte, non il luogo in cui vengono prese.

Controllate questo file non solo quando il sito viene costruito, ma anche dopo ogni grande modifica: una migrazione verso un altro sistema, un nuovo builder di siti web, o una ristrutturazione del sito. Questi sono esattamente i momenti in cui le impostazioni vengono accidentalmente trasferite da un ambiente di test. Un breve controllo successivo evita che un'impostazione temporanea diventi permanente.

Tenete presente anche che robots.txt non è isolato. È strettamente connesso ad altri segnali che date a Google, come l'istruzione a livello di pagina tramite un tag noindex, di cui si parla di più in noindex via meta robots o X-Robots-Tag. Entrambi non devono contraddirsi. Una pagina che volete mostrare non deve essere aperta su un canale e bloccata comunque su un altro.