Ar Google tikrai gali pamatyti jūsų svetainę?
Mažas techninis failas robots.txt nustato, ar Google gali pamatyti ir pervaizduoti jūsų svetainę, o klaida jame gali visiškai sustabdyti jūsų matomumą paieškoje nepastebėjus to.
Kas yra šis failas iš tikrųjų
Kiekviena svetainė turi arba turėtų turėti failą vardu robots.txt. Jį rasite, įvedę savo domeną, po kurio /robots.txt, pavyzdžiui, jūsųįmonė.lt/robots.txt. Šis failas yra pirmas, kurį Google skaito prieš peržiūrint jūsų svetainę. Jis yra paprastas tekstas ir pasakyja paieškos sistemoms, kurias svetainės dalis jos gali ir negali aplankyti.
Galite tai palyginti su ženklu ties pastato įėjimu. Kai kurie durys atvertos, kitos uždarytos su paprastu lapeliu. Problema yra ta, kad įmonės kartais netyčia patvesia ne tą lapelį. Vietoj to, kad uždarytų vieną užpakalinę duris, jos uždaraityčią visą pastatą lankyto-jams, įskaitant svarbiausius kambarius.
Be to, kurie keliai gali būti aplankomi, ir kurie ne, yra dar vienas dalykasšis subtilesnė: failai, sudarantys puslapį. Pagalvokite apie CSS, kuris atsakingas už formatavimą, ir JavaScript, kuris atsakingas už judėjimą ir sąveiką puslapyje. Jei robots.txt blokuoja tuos failus, Google gali aplankyt puslapį, bet negali jo gerai pamatyti. Tada jis mato grynąja, sugadintą jūsų svetainės versiją.
Tai glaudžiai susijusi su kitu kontrolės tašku: ar jūsų pagrindinį turinį galima pasiekti be JavaScript, kaip paaiškiname pagrindiniam turiniui pasiekiamam be JavaScript. Abu šie punktai liečia tą pačią klausimą: ar Google gali pamatyti jūsų puslapį taip, kaip jį mato lankytojas, ar Google gauna nepilną vaizdą, kuris gauna blogą vertinimą.
Kodėl tai daugiau nei techninis detalė
Google naudoja procesą, vadinamą pervaizdu: paieškos sistema iš esmės atkuria jūsų puslapį, lygiai kaip to daro naršyklė, norėdama pamatyti, ką tikrai mato lankytojas. Tai galima tik jei Google gali pasiekti visus komponentus, reikalingus tam. Jei CSS arba JavaScript yra blokuojamas, Google mato grynąją puslapį be formatavimo, be meniu, kartais be teksto, kuris užkraujamas scenarijais.
Pasekmė yra ta, kad Google neteisingai įvertina, apie ką jūsų puslapis yra. Puslapis, kuris lankyto-jams atrodo neblogai, gali Google atrodyti nesuprantamas arba tuščias. Tai nėra klausimasdėl to, kad gaunate šiek tiek mažesnį vertinimą. Tai klausimasapie neįtraukimą į rezultatus, nors jūs nepadarėte nieko blogo pačiame turinyje.
Yra skirtumas tarp puslapio, kurio nėra, ir puslapio, kuris yra, bet padarytas nepasiekiamas. Tai taip pat liečia kitus punktus mūsų mažoje tikrinymo sąraše, tokius kaip klausimas, ar ištrintas puslapis gražina švarų 404 statusą, kaip aptariame 404 puslapyje pačiame. Abiem atvejais tai aiškumo klausimasleidžiamo Google žinoti, kas ir ką turi būti rasta.
Kaip jūs patys galite patikrinti, ar viskas gerai
Adreso juostoje įveskite savo domeną, po kurio /robots.txt. Atsiranda paprasta taisyklių sąrašas, dažniausiai su žodžiais tokiais kaip 'Disallow', po kurių eina kelias. Disallow reiškia: šio kelio negalima aplankyt. Žiūrėkite, ar ten nėra kažko, ko neereiškaltujęsi, pvz., viena pasviroji brūkšnė, kuri reiškia, kad visa svetainė yra uždara.
Atkreipkite ypatingą dėmesį į taisykles, kurios nurodo katalogus, kurių pavadinimai tokie kaip /wp-content/, /assets/, /css/ arba /js/. Tai dažnai tiksliai tie katalogai, kuriuose yra jūsų svetainės formatavimas ir sąveika. Jei jie yra blokuojami, labai tikėtina, kad Google negali gerai pervaizduoti jūsų puslapių, net jei likusi failo dalis atrodo nekalta.
Google Search Console, nemokama Google paslauga svetainės savininkams, turi testą, kuriuo galite patikrinti konkretų puslapį dėl pervaizdo problemų. Čia matote, kaip Google supranta jūsų puslapį. Jei atrodo gryna arba sugadinta, o jūsų naršyklėje puslapis atrodo gerai, tai yra aiškus signalas, kad kažkas negerai su CSS, JavaScript ar vaizdų kraujimu.
Jei abejojate, ar konkrečias nuorodas tiksliai blokavo ar tai buvo per klaidą, pasitarkite su tuo, kuris jūsų svetainę pastatė. Kai kurie blokavimo ryšiai yra sąmoningi ir protingi, pavyzdžiui, vidinės paieškos rezultatų uždarymas, tema, kurią atskirai aptariame vidiniuose paieškos rezultatų puslapiuose su noindex. Kiti blokavimo ryšiai yra paprasčiausios klaidos iš numatytųjų nustatymų, kurie niekada nebuvo tikrinti.
Kiek tai kainuoja, jei tai nėra gerai
Jei robots.txt blokuoja svarbias nuorodas, nepastebimai uždarote dalis savo svetainės nuo Google. Tai gali būti produktų puslapiai, tinklaraščio straipsniai arba net visa svetainė po persigrupavimu į naują sistemą. Tai nutinka dažniau nei žmonės galvoja, ypač po svetainės atnaujinimo, kai nustatymas, kuris buvo skirtas bandymų aplinkai, per klaidą lieka realioje svetainėje.
Sudėtinga yra tai, kad savo kasdieninėje svetainės naudojime to nepastebite. Puslapiai tiesiog įkeliasi, lankytojai, kurie gauna tiesioginę nuorodą, vis dar gali ten patekti. Tik iš paieškos sistemų ateinanty srautas lėtai sumažėja be aiškios priežasties. Daugelis verslininkų tada ieško priežasties turinyje arba konkurencijoje, o problemingas failas yra techninis, kurį jie niekada neatidaro.
Kai blokuoti tik CSS ir JavaScript, poveikis yra subtiliau, bet ne mažiau žalingas. Jūsų puslapiai lieka atrandami, bet Google juos vertina remiantis nevisišku vaizdu. Tekstas, kuris įkeliamas per scenarijų, gali nesuskaičiuoti. Puslapis, kuris jums atrodo puikus, Google vertina kaip turintis mažai turinio, su visomis pasekme jūsų padėčiai paieškos rezultatuose.
Atkūrimas paprastai nėra mėnesių darbo reikalas. Dažnai reikia koreguoti kelis failo eilutes. Klausimas yra tas, kad pirmiausia turite atpažinti problemą. Be patikrinimo, blokavimas gali likti nepastebėtas daug metų tiesiog todėl, kad niekas į jį nebeatsigręžė po to, kai svetainė buvo paskutinį kartą pritaikyta.
Ką reikia padaryti, kad tai būtų gerai
Principas yra paprastas: robots.txt gali blokuoti tik nuorodas, kurias sąmoningai norite išbristi, pavyzdžiui, administratorių prisijungimo puslapį arba pirkinių krepšelį, kuris iš viso neturėtų atsirasti paieškos rezultatuose. Viskas, kas prisideda prie to, kaip puslapis atrodo arba veikia, turi likti prieinama. Tai yra visas šio kontrolės taško principas: nepergaubyti iš atsargumo, o orientuotai uždaryti, kur reikia.
Leiskite šį failą patikrinti kaip platesnės apžvalgos dalis, kas turėtų ir neturėtų būti indeksuota. Ta apžvalga, indeksavimo matrica pagal puslapio tipą, žemėlapyje parodo, kurie puslapiai turi būti matomus Google ir kurie sąmoningai ne, kaip paaiškinjame puslapio tipo indeksavimo matricoje. Robots.txt yra tada priemonė, kuria tos pasirinkimai įgyvendinami, o ne vieta, kur tie pasirinkimai yra svarstyti.
Patikrinkite šį failą ne tik statant svetainę, bet ir po kiekvieno didžiojo pakeitimo: persigrupavimo į kitą sistemą, naujo svetainės generatoriaus arba svetainės restruktūrizavimo. Tai yra tiksliai tie momentai, kai nustatymai per klaidą yra perkeliami iš bandymų aplinkos. Trumpas po to atliekamas patikrinimas nuo to, kad laikinas nustatymas nesustabytu nuolat.
Taip pat turėkite omenyje, kad robots.txt nėra izoliuotas. Tai glaudžiai susiję su kitais signalais, kuriuos teikiate Google, pavyzdžiui, instrukcija puslapio lygiu per noindex žymę, apie ką daugiau noindex per meta robots arba X-Robots-Tag. Abu neturėtų vienas kito prieštarauti. Puslapis, kurį norite rodyti, neturėtų būti atidarytas vienu kanalu ir vis dar blokuojamas kitu.
Dažnai užduodami klausimai
Ar galiu pats keisti robots.txt be svetainės generatoriaus
Techniškai tai paprastas tekstinis failas, kurį galite atidaryti ir modifikuoti patys. Praktiškai atsargumas yra protingas: viena neteisinga taisyklė gali uždaryti visą jūsų svetainę iš “Google”. Patikrinkite pakeitimą pagal tai, kas valdo jūsų svetainę, arba išbandykite pakeitimą naudodami “Google Search Console” įrankį, prieš darydami jį nuolatiniu.
Ar blokas “robots.txt” reiškia, kad puslapis iš karto dingsta iš “Google”
Ne iš karto ir ne visada visiškai. Poveikis dažnai didėja palaipsniui, nes “Google” dažniau susiduria su blokada. Kartais puslapis vis tiek lieka matomas be aprašymo, nes “Google” žino pavadinimą, bet jam neleidžiama peržiūrėti turinio. Visais atvejais rezultatas yra silpnesnė pozicija nei tada, kai puslapis buvo visiškai prieinamas.
Aš neturiu failo robots.txt, ar tai problema?
Iš esmės be šio failo Google gali eiti bet kur, todėl tiesioginės blokados ta prasme nėra. Vis dėlto protinga turėti vieną, net jei tai tik sąmoningai atmesti kelis kelius, pvz., Vidinę paieškos sistemą. Tai taip pat atitinka 1.2 kontrolės punktą, kuriame aptarsime tikslią šio projekto konstrukciją, kaip rašoma 1.2 kontroliniame punkte.
Tolesnis skaitymas
Kaip stovi jūsų sava svetainė?
Du skaičiai, per minutę, nemokamai — ir jūs neturite nieko palikti.
Norite iš karto gauti visą ataskaitą? Išplėstinė nuskaitymas — € 49 →
Norite sužinoti, kodėl tai yra?
Šis nuskaitymas jums parodo stovį. Pranešimas jums parodo priežastis ir tvarką, kuria jas sprendžiate.
- Kiekvienos nustatytos problemos aprašymas ir reikalingos veiklosNemokamas nuskaitymas parodo jūsų padėtį. Ataskaitoje rasite sąrašą — paprastais žodžiais, pagal svarbą, be techninio žargatvės.
- Visos keturios AI asistentės vietoj vienosNemokamas rezultatas – imtis iš vieno asistento. Ataskaitoje pateikiami aštuoni klausimai visiems keturiems, todėl žinote, ar problema tik vieno asistento, ar visų.
- Kurie įmonės yra paminėtosKurie klientai gauna jūsų prarastas užduotis? Jų pavadinimai yra ataskaitoje, kartu su tuo, kaip dažnai jie pasirodo ten, kur jūs negreitina.
- Gilesnis jūsų svetainės matavimasNemokamas nuskaitymas apžvelgia dešimt puslapių. Ataskaitoje peržiūrimas iki penkiasdešimt, todėl ir tie puslapiai, kur jūsų klientai pagaliau atsiduria.