Da li Google stvarno može da vidi vašu veb-stranicu?
Mala tehnička datoteka, robots.txt, određuje da li Google sme da vidi vašu stranicu i da je renderuje, a greška u njoj može zaustaviti vašu celu vidljivost bez da to primetite.
Šta je ta datoteka ustvari
Svaka veb-stranica ima, ili bi trebalo da ima, datoteku nazvanu robots.txt. Pronašli biste je tako što iza imena vašeg domena napišete /robots.txt, na primer vaseposlovanje.rs/robots.txt. Ova datoteka je prva koju Google čita pre nego što poseti vašu stranicu. Ona je u običnom tekstu i govori mašinama za pretragu koje delove sajta smeju i koje ne smeju da posete.
Možete to da poredite sa tablom na ulazu u zgradu. Neka vrata su otvorena, druga su zatvorena jednostavnom porukom. Problem je što preduzeća ponekad slučajno okače pogrešnu poruku. Umesto da zatvore samo jedna zadnja vrata, zatvaraju celu zgradu za posetioce, uključujući najvažnije prostorije.
Pored putanja koje smeju ili ne smeju biti posetene, radi se i o nečem sutiljivijem: datotekama koje grade stranicu. Razmisli o CSS-u, koji se brine o formatiranju, i JavaScriptu, koji se brine o kretanju i interakciji na stranici. Ako robots.txt blokira te datoteke, Google može da poseti stranicu, ali je ne može dobro da vidi. Tada vidi golu, slomljenu verziju vaše stranице.
Ovo je usko povezano sa drugom kontrolnom tačkom: da li je vaš osnovni sadržaj dostupan čak i bez JavaScripta, kao što objašnjavamo u osnovni sadržaj je dostupan bez JavaScripta. Obe tačke govore o istom pitanju: može li Google da vidi vašu stranicu onako kako je vidi posetilac, ili Google dobija nepotpunu sliku koja lošije boduje.
Zašto je ovo više od tehnističkog detalja
Google koristi proces koji se zove renderovanje: mašina za pretragu u stvari gradi vašu stranicu iznova, baš kao što to čini pregledač, da bi videla šta posetilac stvarno dobija da vidi. To može samo ako Google sme da pristupi svim komponentama koje su za to potrebne. Ako je CSS ili JavaScript blokiran, Google vidi golu stranicu bez formatiranja, bez menija, ponekad bez teksta koji se učitava skriptama.
Rezultat je da Google pogrešno procenjuje o čemu je vaša stranica. Stranica koja izgleda odličan za posetioce može za Google da izgleda neshvatljiva ili prazna. Nije do toga što malo lošije boduje. Radi se o tome što se neće uključiti, iako ste nisu ništa loše uradili sa sadržajem samim.
Postoji razlika između stranice koja ne postoji i stranice koja postoji ali je učinjena nedostupnom. To se tiče i ostalih stavki na našoj listi provere, kao što je pitanje da li uklonjena stranica lepo vraća status 404, kao što objašnjavamo u samih 404-stranica je od pomoći. U oba slučaja radi se o jasnoći: pokažite Google-u šta jeste a šta nije namenjeno da se pronađe.
Kako sami proverite da li je kod vas u redu
Ukucajte naziv vašeg domena praćeno sa /robots.txt u adresnu traku vašeg pregledača. Pojavljuje se jednostavna lista sa pravilima, obično sa rečima kao što su 'Disallow' praćeno putanjom. Disallow znači: ova putanja ne sme biti posećena. Pogledajte da li tamo piše nešto što ne očekujete, kao što je samo kosa crta, što znači da je ceo sajt zatvoren.
Posebno obratite pažnju na pravila koja se odnose na fascikle sa nazivima kao /wp-content/, /assets/, /css/ ili /js/. Ovo su često upravo fascikle u kojima se nalazi formatiranje i interakcija vaše stranице. Ako su te zablokirane, velika je verovatnoća da Google ne može dobro da renderuje vaše stranice, čak i ako ostatak datoteke izgleda bezopasno.
Google Search Console, besplatna Google usluga za vlasnike sajtova, ima test koji vam dozvoljava da proverite određenu stranicu na probleme pri renderovanju. Vidite primer kako Google vidi vašu stranicu. Ako to izgleda golo ili slomljeno dok stranica u vašem pregledaču izgleda odličko, to je jasan signal da nešto ide po zlu pri učitavanju CSS-a, JavaScripta ili slika.
Сумњате ли да је одређена путања намерно искључена или случајно, консултујте се са онима који су направили вашу веб-локацију. Неке блокаде су намерне и разумне, као затварање интерног резултата претраге, нешто чему ћемо се одвојено посветити на страницама унутрашњих резултата претраге са noindex. Остале блокаде су једноставно грешке из подразумеване конфигурације која никад није проверена.
Шта је цена ако то није у реду
Ако robots.txt блокира важне путање, без знања затварате делове своје веб-локације од Гугла. То могу бити странице производа, чланци блога, или чак целој веб-сајт после преселјавања на нови систем. Ово се дешава чешће него што људи мисле, посебно после обнове веб-сајта, када је подешавање предвиђено за тестно окружење случајно остало активно на правом сајту.
Замршено је то што ничега не примећујете у дневној употреби веб-сајта. Странице се једноставно учитавају, посетиоци који добију директну везу и даље могу доћи. Једино саобраћај из претраживача полако пада, без јасног разлога. Многи предузетници потом траже узрок у садржају или конкуренцији, док је проблем у техничкој датотеци коју никад нису отворили.
Када су само CSS и JavaScript блокирани, ефекат је суптилнији али не мање штетан. Ваше странице остају видљиве, али Гугл их оцењује на основу непотпуне слике. Текст који се учитава преко скрипте можда се не рачуна. Страница која за вас изгледа одлично, од стране Гугла се оцењује као сиромашна садржајем, са свим последицама по вашу позицију у резултатима претраге.
Исправка је обично питање месеци рада. Често се ради о прилагођавању пар редова у датотеци. Суштина је да морате прво препознати проблем. Без контроле, блокада понекад остане неприметна годинама, једноставно јер је нико није проверио откад је веб-сајт последњи пут измењен.
Шта треба да се дesi да би се ово привело у ред
Полазна тачка је једноставна: robots.txt сме блокирати само путање које намерно желите да искључите, као што су страница за пријаву администратора или корпа за куповину која никад не би требало да буде у резултатима претраге. Све што доприноси изгледу или функционисању странице мора да остане приступачно. То је целокупан принцип иза овог контролног пункта: не затварајте као мера опреза, већ циљано затворите где је то неопходно.
Дозволите да се ова датотека прослеђа провери као део ширег прегледа шта треба а шта не треба да буде индексирано. Тај преглед, матрица индексирања по типу странице, картографише које странице морају бити видљиве Гуглу и које намерно не, као што објашњавамо у матрици индексирања по типу странице. Robots.txt је тада инструмент којим се те одлуке спроводе, не место где се те одлуке доносе.
Проверите ову датотеку не само при изградњи веб-сајта, већ и после сваке веће измене: преселјавања на други систем, новог веб-градитеља, или реструктурирања веб-сајта. То су управо моменти када су подешавања случајно преузета из тестног окружења. Кратка провера касније спречава да привремена подешавања постану трајна.
Имајте на уму и да robots.txt не стоји сам. Он је уско повезан са другим сигналима које дајете Гуглу, као што је инструкција на нивоу странице преко noindex-ознаке, о чему је више у noindex преко мета robots или X-Robots-Tag. Оба не смеју да се противреченају. Страница коју желите да приказате не сме бити отворена кроз један канал и поново блокирана кроз други.
Često postavljana pitanja
Могу ли сам прилагодити robots.txt без веб-градитеља
Tehnički gledano, to je jednostavna tekstualna datoteka koju možete sami otvoriti i prilagoditi. U praksi je opreznost pametna: jedan pogrešan red može zatvoriti vašu celu veb-lokaciju za Gugl. Pustite da neko ko upravlja vašom veb-lokacijom proveri izmenu, ili prvo testirajte prilagođavanje alatom u Gugl Search Console pre nego što ga konačno primenite.
Da li blokada u robots.txt znači da stranica odmah nestane iz Gugla
Ne odmah, i ne uvek u potpunosti. Efekat se često gradi postepeno kako Gugl sve češće naiđe na blokadu. Ponekad stranica ostaje vidljiva bez opisa, jer Gugl zna naslov ali ne sme da vidi sadržaj. Rezultat je u svakom slučaju slabija pozicija nego kada bi stranica bila u potpunosti dostupna.
Nemam robots.txt datoteku, da li je to problem
Bez ove datoteke, Gugl može u principu ići svuda, tako da u tom smislu nema direktne blokade. Ipak, pametno je imati je, bar da sveisno isključite nekoliko putanja, kao što je interno pretraživanje. To se takođe poklapa sa kontrolnom tačkom 1.2, gde razmatramo tačnu strukturu toga, kao što se može pročitati u kontrolnoj tački 1.2.
Nastavite sa čitanjem
Kako stoji vaša vlastita veb-stranica?
Dva broja, u roku od minut, besplatno — i ne morate ništa ostavljati.
Radije odmah potpuni izveštaj? Detaljno skeniranje — € 49 →
Želite li znati na čemu se to zasniva?
Ova skeniranja vam daju stanje. Izveštaj vam daje uzroke i redosled u kojem ćete ih rešavati.
- Za svaki nalaz šta je loše i šta treba da se desiBesplatna skeniranja vam daje stanje. Izveštaj vam daje listu — na običnom jeziku, redosledom kako je teško, bez da trebate nešto tehnički razumeti.
- Sva četiri AI asistenta umesto jednogBesplatni rezultat je uzorak kod jednog asistenta. Izveštaj postavlja osam pitanja svima četirima, tako da znate da li je do jednog asistenta ili do svih.
- Koja preduzeća se zaista pominjajuKo dobija kupca koji vam promakne? Ta imena se nalaze u izveštaju, sa brojem puta koliko se pojavljuju gde vi nedostajete.
- Detaljnije merenje vašeg veb-sajtaBesplatno skeniranje gleda deset stranica. Izveštaj ide do pedeset, tako da i do stranica gde vaši kupci na kraju stižu.