Poate Google să vă vadă cu adevărat website-ul?

Ce este de fapt acel fişier

Fiecare website are, sau ar trebui să aibă, un fişier numit robots.txt. Îl puteţi găsi tastând după numele domeniului dvs. /robots.txt, de exemplu companialvstr.ro/robots.txt. Acest fişier este primul pe care Google îl citeşte înainte de a vizita site-ul dvs. Se găseşte în text obişnuit şi spune motoarelor de căutare care sunt părţile site-ului pe care le pot sau nu pot vizita.

Puteţi să-l comparaţi cu o tablă la intrarea unei clădiri. Unele uşi sunt deschise, altele sunt închise cu o simplă notă. Problema este că uneori companii atârnă din greşeală nota greşită. În loc să închidă o singură ieşire din spate, închid întreaga clădire pentru vizitatori, inclusiv camerele principale.

Pe lângă căile care pot sau nu pot fi vizitate, mai este vorba şi de ceva mai subtil: fişierele care construiesc pagina. Gândiţi-vă la CSS, care se ocupă de formatare, şi la JavaScript, care se ocupă de mişcare şi interacţiune pe pagină. Dacă robots.txt blochează acele fişiere, Google poate vizita pagina, dar nu poate s-o vadă bine. Vede atunci o versiune goală, ruptă a site-ului dvs.

Aceasta se leagă strâns de un alt punct de control: dacă conţinutul dvs. principal este accesibil şi fără JavaScript, aşa cum explicăm la conţinutul principal este accesibil fără JavaScript. Ambele puncte se referă la aceeaşi întrebare: poate Google să vă vadă pagina aşa cum o vede un vizitator, sau Google obţine o imagine incompletă care obţine un scor prost.

De ce aceasta este mai mult decât un detaliu tehnic

Google foloseşte un proces numit randare: motorul de căutare construieşte în esenţă pagina dvs., exact aşa cum o face un browser, pentru a vedea ce vede cu adevărat un vizitator. Aceasta poate fi posibil doar dacă Google are acces la toate componentele necesare. Dacă CSS sau JavaScript este blocat, Google vede o pagină goală fără formatare, fără meniu, uneori fără textul care este încărcat cu scripturi.

Consecinţa este că Google estimează greşit sobre ce tratează pagina dvs. O pagină care arată perfect pentru vizitatori, poate fi de neînţeles sau goală pentru Google. Aceasta nu este o chestiune de a obţine un scor puţin mai prost. Este o chestiune de a nu fi inclusă, în timp ce nu aţi făcut nimic greşit în conţinutul în sine.

Există o diferenţă între o pagină care nu există şi o pagină care există dar a fost făcută inaccesibilă. Aceasta atinge şi alte puncte din lista noastră de măsurare, cum ar fi întrebarea dacă o pagină ştearasă întoarce bine un status 404, aşa cum discutăm la pagina 404 în sine este utilă. În ambele cazuri, este vorba despre claritate: arătaţi Google ce este şi ce nu este destinat a fi găsit.

Cum puteţi verifica dacă este în ordine la dvs.

Tastaţi numele domeniului dvs. urmat de /robots.txt în bara de adresă a browserului dvs. Apare o listă simplă cu reguli, de obicei cu cuvinte cum ar fi 'Disallow' urmate de o cale. Disallow înseamnă: această cale nu poate fi vizitată. Verificaţi dacă există ceva pe care nu o aşteptaţi, cum ar fi o simplă bară oblică, ceea ce înseamnă că întregul site este închis.

Acordaţi o atenţie deosebită regulilor care se referă la foldere cu nume cum ar fi /wp-content/, /assets/, /css/ sau /js/. Acestea sunt adesea exact folderele în care se află formatarea şi interacţiunea site-ului dvs. Dacă sunt blocate acolo, este probabil ca Google să nu vă poată randeza paginile corect, chiar dacă restul fişierului pare nevinovat.

Google Search Console, un serviciu gratuit de Google pentru proprietarii de site-uri, are o testă cu care puteţi verifica o anumită pagină pentru probleme de randare. Acolo vedeţi un exemplu de modul în care Google percepe pagina dvs. Dacă arată gol sau rupt în timp ce pagina din browserul dvs. arată perfect, atunci este un semnal clar că ceva nu funcţionează în încărcarea CSS, JavaScript sau a imaginilor.

Dacă vă îndoiți dacă o anumită cale este exclusă deliberat sau din greșeală, consultați-vă cu persoana care v-a construit website-ul. Unele blocări sunt intenționate și rezonabile, cum ar fi excluderea unui rezultat de căutare intern, ceva pe care o abordez separat pe paginile de rezultate de căutare internă pe noindex. Alte blocări sunt pur și simplu erori dintr-o setare implicită care nu a fost niciodată verificată.

Ce costă dacă nu este în regulă

Dacă robots.txt blochează căi importante, vă închideți fără să vă dați seama părți ale site-ului dvs. pentru Google. Acestea pot fi pagini de produs, articole de blog sau chiar întreg site-ul după o mutare la un sistem nou. Acest lucru se întâmplă mai des decât cred oamenii, mai ales după o reîmprospătare a website-ului, când o setare destinată mediului de testare rămâne accidental pe site-ul real.

Partea insidioasă este că nu observați nimic în utilizarea zilnică a site-ului. Paginile se încarcă pur și simplu, vizitatorii care primesc direct linkul pot ajunge în continuare acolo. Doar traficul din motoarele de căutare se usucă treptat, fără un motiv clar. Mulți antreprenori caută apoi cauza în conținut sau concurență, în timp ce problema se află într-un fișier tehnic pe care nu l-au deschis niciodată.

Atunci când doar CSS și JavaScript sunt blocate, efectul este mai subtil, dar nu mai puțin daunator. Paginile dvs. rămân vizibile, dar Google le evaluează pe baza unei imagini incomplete. Textul care este încărcat printr-un script poate să nu conteze. O pagină care arată perfect pentru dvs. este evaluată de Google ca fiind săracă în conținut, cu toate consecințele pentru poziția dvs. în rezultatele căutării.

Remedierarea nu este de obicei o chestiune de luni de muncă. Adesea se rezumă la ajustarea a câteva linii într-un fișier. Punctul este că trebuie mai întâi să recunoașteți problema. Fără control, o blocare rămâne uneori neobservată vreme de ani, pur și simplu pentru că nimeni nu s-a mai uitat la ea după ce site-ul a fost ajustat ultima dată.

Ce trebuie să se întâmple pentru a pune asta în regulă

Punctul de plecare este simplu: robots.txt trebuie să blocheze doar căile pe care doriți deliberat să le excludeți, cum ar fi o pagină de logare pentru administratori sau un coș de cumpărături care nu ar trebui niciodată să apară în rezultatele căutării. Orice contribuie la modul în care arată sau funcționează pagina trebuie să rămână accesibil. Acesta este întregul principiu din spatele acestui punct de control: nu blocați din precauție, ci închideți-vă în mod strategic acolo unde este necesar.

Lăsați acest fișier să fie verificat ca parte a unei priviri mai largi asupra ceea ce ar trebui și nu ar trebui indexat. Acea privire de ansamblu, o matrice de indexare per tip de pagină, indică paginile care trebuie să fie vizibile pentru Google și care nu, în mod deliberat, așa cum explicăm într-o matrice de indexare per tip de pagină. Robots.txt este apoi instrumentul cu care aceste alegeri sunt executate, nu locul în care se iau aceste alegeri.

Nu verificați acest fișier doar la construirea site-ului, ci și după orice modificare majoră: o mutare la alt sistem, un nou constructor de website sau o restructurare a site-ului. Acestea sunt exact momentele în care setările sunt accidental aduse din mediul de testare. O scurtă verificare ulterioară previne ca o setare temporară să devină permanentă.

Rețineți, de asemenea, că robots.txt nu stă singur. Este strâns conectat cu alte semnale pe care le dați Google, cum ar fi instrucțiunea la nivel de pagină prin intermediul unei etichete noindex, despre care mai puteți citi la noindex prin meta robots sau X-Robots-Tag. Ambele nu trebuie să se contrazică una pe cealaltă. O pagină pe care doriți să o afișați nu trebuie să fie deschisă printr-un canal și apoi blocată prin altul.