Može li Google stvarno vidjeti vašu web stranicu?
Mala tehnička datoteka, robots.txt, određuje smije li Google posjetiti vašu stranicu i renderirati je, a greška u njoj može zaustaviti vašu cijelu vidljivost bez da to primijetite.
Što je ta datoteka zapravo
Svaka web stranica ima, ili bi trebala imati, datoteku s nazivom robots.txt. Pronalazite je tako što nakon nazivu domene upišete /robots.txt, na primjer vasegospodarske.hr/robots.txt. Ova datoteka je prva koju Google čita prije nego što posjetiti vašu stranicu. Znajduje se u običnom tekstu i govori tražilicama koji dijelovi stranice smiju i ne smiju posjetiti.
Možete je usporediti s tablom na ulazu u zgradu. Neka vrata su otvorena, druga su zatvorena jednostavnom bilješkom. Problem je što tvrtke ponekad slučajno objesite pogrešnu bilješku. Umjesto da zatvorite samo jedna stražnja vrata, zatvarate cijelu zgradu za posjetitelje, uključujući najvažnije prostorije.
Osim staza koje smiju ili ne smiju biti posjećene, radi se i o nečem subtilijnijem: datotekama koje grade stranicu. Razmislite o CSS-u koji se brine za oblikovanje i JavaScriptu koji se brine za kretnje i interakcije na stranici. Ako robots.txt blokira te datoteke, Google može posjetiti stranicu, ali je ne može dobro vidjeti. Tada vidi golu, razrušenu verziju vaše stranice.
To je usko povezano s drugom kontrolnom točkom: je li vaš temeljni sadržaj dostupan i bez JavaScripta, kao što objašnjavamo u temeljni sadržaj dostupan je bez JavaScripta. Oba elementa govore o istom pitanju: može li Google vidjeti vašu stranicu onakvom kakvu je vide posjetitelji, ili Google dobiva nepotpunu sliku koja loše ocjenjuje.
Zašto je ovo više od tehničkog detalja
Google koristi proces koji se naziva renderiranje: tražilica u stvari preslika vašu stranicu, točno kao što to čini preglednik, kako bi vidjela što posjetitelj doista vidi. To je moguće samo ako Google smije pristupiti svim dijelovima koji su potrebni. Ako je CSS ili JavaScript blokiran, Google vidi golu stranicu bez oblikovanja, bez izbornika, ponekad bez teksta koji se učitavaju skriptama.
Posljedica je da Google pogrešno procjenjuje čemu se vaša stranica bavi. Stranica koja izgleda odličnom za posjetitelje može biti neshvatljiva ili prazna za Google. To nije samo malo slabije ocjenjivanje. To je pitanje da se uopće ne uključi, dok niste ništa pogrešili na sadržaju samom.
Postoji razlika između stranice koja ne postoji i stranice koja postoji ali je učinjena nedostupna. To se dodir i drugih točaka na našoj listi provjere, kao što je pitanje vraća li uklonjena stranica pravilno status 404, kao što razmatramo u 404-stranica je sama po sebi od pomoći. U oba slučaja radi se o jasnoći: pokažite Googleu što je i što nije namijenjeno da se pronađe.
Kako sami provjeriti je li sve u redu
Upišite naziv vaše domene praćen s /robots.txt u adresnu traku preglednika. Pojavljuje se jednostavna lista pravila, obično s riječima kao 'Disallow' nakon kojih slijedi putanja. Disallow znači: ova putanja ne smije biti posjetjena. Pogledajte postoji li nešto što ne očekujete, kao što je samo kosa crta, što znači da je cijela stranica zatvorena.
Obratite posebnu pozornost na pravila koja se odnose na mape s nazivima kao /wp-content/, /assets/, /css/ ili /js/. To su često upravo mape gdje se nalazi oblikovanje i interakcija vaše stranice. Ako su te mape blokirane, velika je vjerojatnost da Google ne može pravilno renderirati vaše stranice, čak i ako ostatak datoteke izgleda nevinno.
Google Search Console, besplatna Google usluga za vlasnike web stranica, ima test s kojim možete provjeriti specifičnu stranicu na probleme pri renderiranju. Tamo vidite primjer kako Google percipira vašu stranicu. Ako to izgleda golo ili razrušeno dok u vašem pregledniku stranica izgleda odličnom, to je jasna poruka da nešto krivo s učitavanjem CSS-a, JavaScripta ili slika.
Ako sumnjate je li određena putanja namjerno isključena ili slučajno, zatražite savjet od onoga tko je izgradio vašu web-stranicu. Neki su blokadi namjerni i razumni, kao što je zatvaranje rezultata internog pretraživanja, što posebno pojašnjavamo kod stranica s rezultatima internog pretraživanja na noindex. Drugi su blokadi jednostavno greške iz zadane postavke koja nikad nije provjerena.
Što to košta ako nije u redu
Ako robots.txt blokira važne putanje, bez znanja zatvarate dijelove vaše web-stranice za Google. To mogu biti stranice proizvoda, članci na blogu ili čak cijela stranica nakon prebacivanja na novi sustav. To se događa češće nego što ljudi misle, posebno nakon obnove web-stranice, gdje postavka namijenjena testnom okruženju slučajno ostaje na pravoj stranici.
Opasnost je što toga ne primjećujete tijekom redovite upotrebe web-stranice. Stranice se jednostavno učitavaju, posjetitelji koji dobiju vezu izravno i dalje je mogu pristupiti. Samo promet iz tražilica polako presušuje, bez jasne razloga. Mnogi poduzetnici tada uzrok traže u sadržaju ili konkurenciji, dok problem leži u tehničkoj datoteci koju nikad nisu otvorili.
Kada su blokirani samo CSS i JavaScript, učinak je subtilniji, ali nije manje štetan. Vaše stranice ostaju pronalazive, ali Google ih ocjenjuje na temelju nepotpune slike. Tekst koji učita skripta možda se ne računa. Stranica koja za vas izgleda savršeno, Google ocjenjuje kao siromašna sadržajem, sa svim последicama za vašu poziciju u rezultatima pretraživanja.
Oporavak obično nije stvar mjeseci rada. Često je dovoljno prilagoditi nekoliko redaka u datoteci. Ključno je da prvo prepoznate problem. Bez provjere blokada ponekad godinama ostaje neprimijećena, samo zato što je nitko nije provjerio nakon što je stranica zadnji put izmijenjena.
Što se mora učiniti da se ovo dotera
Polazna točka je jednostavna: robots.txt smije blokirati samo putanje koje namjerno želite isključiti, kao što su stranica za prijavu administratora ili shopping cart koji nikad ne bi trebao biti u rezultatima pretraživanja. Sve što pridonosi tome kako stranica izgleda ili radi mora ostati dostupno. To je cijeli princip ovog kontrolnog punkta: ne zatvarati zbog opreznosti, već ciljano zatvoriti gdje je potrebno.
Neka ova datoteka bude provjerena kao dio šire analize onoga što bi trebalo biti indeksirano i što ne. Ta analiza, matrica indeksiranja po tipu stranice, trebala bi mapirati koje stranice trebaju biti vidljive za Google i koje namjerno nisu, kao što pojašnjavamo kod matrice indeksiranja po tipu stranice. Robots.txt je tada instrument kojim se te odluke provode, a ne mjesto gdje se odluke donose.
Provjerite ovu datoteku ne samo tijekom gradnje stranice, već i nakon svake velike izmjene: prebacivanja na drugi sustav, nove web-stranice ili restrukturiranja stranice. To su upravo trenutci kada se postavke slučajno prenesu iz testnog okruženja. Kratka naknadna provjera sprječava da privremena postavka postane trajna.
Imajte na umu i da robots.txt ne stoji sam. Usko je povezan s drugim signalima koje dajete Google-u, kao što je uputa na razini stranice putem noindex oznake, što detaljnije pojašnjavamo kod noindex putem meta robots ili X-Robots-Tag. Oba ne smiju biti u suprotnosti. Stranica koju želite prikazati ne smije biti otvorena na jednom kanalu a i dalje blokirana na drugom.
Često postavljana pitanja
Mogu li sam promijeniti robots.txt bez graditelja web-stranice
Tehnički je to jednostavna tekstualna datoteka koju možete sami otvoriti i promijeniti. U praksi je opreznost pametna: jedan pogrešan redak može zatvoriti vašu cijelu stranicu za Google. Pustite da promjenu provjeri osoba koja upravlja vašom stranicom ili prvo testirajte promjenu pomoću alata u Google Search Console prije nego što je konačno provedete.
Znači li blokada u robots.txt da stranica odmah nestaje iz Google pretraživanja
Ne odmah, niti uvijek potpuno. Učinak se često gradi postupno kako Google sve češće naiđe na blokadu. Ponekad stranica ostaje vidljiva bez opisa, jer Google zna naslov ali ne smije pogledati sadržaj. Rezultat je u svakom slučaju slabija pozicija nego kada bi stranica bila potpuno dostupna.
Nemam robots.txt datoteku, je li to problem
Bez te datoteke Google u načelu može svugdje doći, tako da u tom smislu nema direktne blokade. Ipak je pametno imati je, čak i ako samo svjesno isključujete nekoliko putanja, poput internog sustava pretraživanja. To se također uklapa u kontrolnu točku 1.2, gdje razmatramo točan raspored toga, kao što se može pročitati u kontrolnoj točki 1.2.
Dalje čitanje
Kako je vaša vlastita web-stranica?
Dva broja, u roku od minute, besplatno — i ne trebate ništa ostaviti.
Radije odmah kompletan izvještaj? Detaljniji pregled — € 49 →
Želite li znati gdje je problem?
Ovaj pregled daje vam status. Izvještaj vam daje uzroke i redoslijed u kojem ih rješavate.
- Za svakom nalazak što je loše i što se mora učinitiBesplatni pregled daje vam status. Izvještaj vam daje popis — na običnom jeziku, redoslijed prema težini, bez da trebate razumjeti bilo što tehnički.
- Sva četiri AI-asistenta umjesto jednogBesplatni rezultat je uzorak s jednim asistentom. Izvještaj postavlja osam pitanja svim četirima, tako da znate je li problem samo s jednim asistentom ili sa svih.
- Koja poduzeća su zaista navedenaKoja poduzeća dobivaju klijente koje ste vi izgubili? Njihova imena nalaze se u izvještaju, s brojem pojavljivanja gdje ste vi odsutni.
- Detaljnija procjena vaše web-straniceBesplatna provjera pregleda deset stranica. Izvještaj ide do pedeset stranica, uključujući i stranice na kojima vaši klijenti na kraju dolaze.