Vai Google tiešām var redzēt jūsu vietni?

Kas tad tas fails tāds ir

Katrai vietnei ir, vai būtu jābūt failam ar nosaukumu robots.txt. Jūs to atradīsiet, rakstot pēc jūsu domēna vārda /robots.txt, piemēram, uzverbals.lv/robots.txt. Šis fails ir pirmais, ko Google nolasa pirms vietnes aplūkošanas. Tas ir vienkāršs teksts un norāda meklēšanas dzinējiem, kuras vietnes daļas viņi drīkst un nedrīkst apmeklēt.

Jūs to varat salīdzināt ar zīmi ēkas ieejas tuvumā. Dažas durvis ir atvērtas, citas ir aizvērtas ar vienkāršu paziņojumu. Problēma ir tā, ka uzņēmumi dažkārt nejauši pakar nepareizu paziņojumu. Tā vietā lai aizvērtu vienu aizmugurējo durvi, viņi aizver visu ēku apmeklētājiem, ieskaitant vissvarīgākās telpas.

Papildus ceļiem, kurus drīkst vai nedrīkst apmeklēt, ir arī kaut kas smalkas: faili, kas veido lapu. Padomājiet par CSS, kas parūpējas par noformējumu, un JavaScript, kas parūpējas par animācijām un mijiedarbību lapā. Ja robots.txt bloķē šos failus, Google var apmeklēt lapu, bet nespēj to labi aplūkot. Tad tas redz jūsu vietnes kailumā, salūzusi versiju.

Tas cieši saistās ar citu kontrolpunktu: vai jūsu pamatinnehums ir pieejams arī bez JavaScript, kā mēs skaidrojam sadaļā pamatinnehums ir pieejams bez JavaScript. Abi punkti attiecas uz vienu un to pašu jautājumu: vai Google var redzēt jūsu lapu tādu, kādu to redz apmeklētājs, vai Google saņem nepilnīgu priekšstatu, kas vērtēts sliktāk.

Kāpēc tas ir vairāk nekā tehnisks sīkums

Google izmanto procesu, ko sauc par renderēšanu: meklēšanas dzinējs faktiski atjaunobrien jūsu lapu, tieši kā to darītu pārlūks, lai noskaidrotu, ko apmeklētājs tiešām redz. Tas ir iespējams tikai tad, ja Google drīkst piekļūt visiem elementiem, kas tam nepieciešami. Ja CSS vai JavaScript ir bloķēts, Google redz kailumā lapu bez noformējuma, bez izvēlnes, dažkārt bez teksta, kas ielādēts ar skriptiem.

Sekas ir tādas, ka Google nepareizi novērtē, par ko ir jūsu lapa. Lapa, kas apmeklētājiem izskatās brīnišķi, Google var šķist nesaprotama vai tukša. Tas nav jautājums par nedaudz sliktāku vērtējumu. Tas ir jautājums par to, ka to vispār neņem vērā, kaut jūs nedarījāt neko nepareizu pašā saturam.

Pastāv atšķirība starp lapu, kas nepastāv, un lapu, kas pastāv, bet ir padarīta nepieejama. Tas skar arī citus mūsu pārbaudes saraksta punktus, piemēram, jautājumu, vai dzēsta lapa pareizi atgriež 404 statusu, kā mēs runājam sadaļā 404 lapa pati ir noderīga. Abos gadījumos tā ir skaidrības jautājums: parādiet Google, kas ir un kas nav paredzēts, lai tiktu atrasts.

Kā pašam pārbaudīt, vai pie jums viss ir kārtībā

Pārlūka adreses joslā ierakstiet savu domēna vārdu, aiz tā /robots.txt. Parādās vienkāršs noteikumu saraksts, parasti ar vārdiem, piemēram, 'Disallow', kam seko ceļš. Disallow nozīmē: šo ceļu nedrīkst apmeklēt. Skatieties, vai tur nav nekas negaidīts, piemēram, viena slīpsvītra, kas nozīmē, ka visa vietne ir aizvērta.

Paiediniet uzmanību noteikumiem, kas atsaucas uz mapēm ar nosaukumiem, piemēram, /wp-content/, /assets/, /css/ vai /js/. Tās bieži ir tieši tās mapes, kur ir jūsu vietnes noformējums un mijiedarbība. Ja tās ir bloķētas, iespējams, Google nevar pareizi renderēt jūsu lapas, pat ja pārējais fails izskatās nekaitīgs.

Google Search Console, Google bezmaksas pakalpojums vietnes īpašniekiem, ir tests, ar kura palīdzību jūs varat pārbaudīt konkrētu lapu renderēšanas problēmām. Tur redzat, kā Google jūsu lapu uztver. Ja tas izskatās kails vai salūzis, kaut jūsu pārlūkā lapa izskatās labi, tas ir skaidrs signāls, ka kaut kas noiet greizi CSS, JavaScript vai attēlu ielādes laikā.

Ja nešaubāties, vai konkrēts ceļš ir apzināti izslēgts vai nejaušības dēļ, tad konsultējieties ar to, kurš jūsu vietni būvēja. Dažas bloķēšanas ir apzinātas un pamatotas, piemēram, iekšējā meklēšanas rezultāta aizvēršana, par ko mēs detalizēti runājam iekšējā meklēšanas rezultātu lapās uz noindex. Citas bloķēšanas ir vienkārši kļūdas standarta iestatījumā, kas nekad nav pārbaudīta.

Kāds maksas, ja tas nav kārtībā

Ja robots.txt bloķē svarīgus ceļus, jūs bez pamanīšanas slēdzat Google ārpus sava vietnes daļām. Tas var būt produkta lapas, emuāra raksti vai pat vesela vietne pēc pārvietošanās uz jaunu sistēmu. Tas notiek biežāk nekā cilvēki domā, īpaši pēc vietnes atjauninājuma, kad iestatījums, kas bija paredzēts testēšanas videi, nejaušības dēļ paliek uz reālās vietnes.

Viltīgais ir tas, ka savā ikdienas vietnes lietošanā jūs to nepamanāt. Lapas vienkārši ielādējas, apmeklētāji, kuri saņem saiti tieši, var joprojām turp nokļūt. Tikai traffic no meklētājprogrammām lēnām izsīkst bez skaidra iemesla. Daudzi uzņēmēji tad meklē iemeslu saturā vai konkurencijā, kamēr problēma ir tehniskā failā, ko viņi nekad nav atvēruši.

Ja ir bloķēti tikai CSS un JavaScript, efekts ir subtilāks, bet ne mazāk kaitīgs. Jūsu lapas paliek atrodamas, bet Google tās novērtē, pamatojoties uz nepilnīgu attēlu. Teksts, ko ielādē skripts, tad iespējams neskaita. Lapa, kas jums izskatās lieliski, Google novērtē kā zemu saturu, ar visām sekām jūsu pozīcijai meklēšanas rezultātos.

Labošana parasti nav mēnešu ilga darba jautājums. Bieži vien tas ir par dažu rindu pielāgošanu failā. Svarīgais ir tas, ka jums vispirms jāatpazīst problēma. Bez pārbaudes bloķēšana dažreiz paliek neatklāta gadiem ilgi, vienkārši tāpēc, ka pēc tam, kad vietne pēdējo reizi tika pielāgota, uz to vairs neviens neraugās.

Kas ir jādara, lai tas būtu kārtībā

Sākumpunkts ir vienkāršs: robots.txt drīkst bloķēt tikai ceļus, kurus apzināti vēlaties izslēgt, piemēram, administratoru pierakstīšanās lapu vai iepirkumu grozu, kas nekad nedrīkstētu parādīties meklēšanas rezultātos. Viss, kas veicina to, kā lapa izskatās vai funkcionē, ir jāpaliek pieejamam. Tas ir viss princips aiz šī kontrolpunkta: ne pārsedz vielas apdraudējuma dēļ, bet mērķtiecīgi slēdz, kur tas ir nepieciešams.

Laidiet šo failu pārbaudīt kā daļu no plašāka pārskats par to, kas ir jāindeksē un kas nē. Šis pārskats, indeksēšanas matrica pēc lapas tipa, kartēj, kuras lapas ir jābūt redzamām Google un kuras apzināti nē, kā mēs izskaidrojam indeksēšanas matricā pēc lapas tipa. Robots.txt ir tad instruments, ar kuru šīs izvēles tiek īstenotas, nevis vieta, kur šīs izvēles tiek izdomātas.

Pārbaudiet šo failu ne tikai vietnes būvniecības laikā, bet arī pēc katras lielās izmaiņas: pārvietošanās uz citu sistēmu, jaunu vietnes veidotāju vai vietnes restruktūrizāciju. Tieši tie ir momenti, kad iestatījumi nejaušības dēļ tiek pārņemti no testēšanas vides. Īsa pēcpārbaude novērš, ka pagaidu iestatījums kļūst pastāvīgs.

Turklāt atcerieties, ka robots.txt neatrodas pats par sevi. Tas ir cieši saistīts ar citiem signāliem, ko jūs sniedzat Google, piemēram, norādi lapas līmenī, izmantojot noindex tagu, par ko vairāk ir noindex caur meta robots vai X-Robots-Tag. Abi nedrīkst viens otram pretoties. Lapa, kuru vēlaties parādīt, nedrīkst tikt atvērta caur vienu kanālu un caur otru joprojām tikt bloķēta.