A mund ta shohë Google faqen tuaj të internetit në të vërtetë?

Çfarë është ky skedar në të vërtetë

Çdo faqe interneti ka, ose duhet të ketë, një skedar me emrin robots.txt. E gjeni duke shkruar /robots.txt pas emrit të domenit tuaj, për shembull shembulli.al/robots.txt. Ky skedar është i pari që Google lexon para se të shikojë faqen tuaj. Ai është në tekst të thjeshtë dhe i thotë motorëve të kërkimit cilat pjesë të faqes mund dhe nuk mund t'i vizitojnë.

Mund ta krahasoni me një tabelë në hyrjen e një ndërtese. Disa derë janë të hapura, të tjera mbyllen me një letër të thjeshtë. Problemi është që bizneset ndonjëherë hedhin aksidentalisht letrën e gabuar. Në vend që të mbyllin një derë të pasme, mbyllin të gjithë ndërtesën për vizitorët, duke përfshirë ndarjet më të rëndësishme.

Përveç shtigjeve që mund ose nuk mund të vizitojnë, shkon edhe për diçka më delikate: skedarët që ndërtojnë faqen. Mendoni për CSS, i cili ofron formatimin, dhe JavaScript, i cili ofron lëvizjet dhe ndërveprimin në faqe. Nëse robots.txt i bllokojn këta skedar, Google mund të vizitojë faqen, por nuk mund ta shohë mirë. Atëherë sheh një version të mposhtë, të dëmtuar të faqes tuaj.

Kjo lidhet ngushtë me një kontrollpunkt tjetër: nëse përmbajtja juaj bazë është e arritshme edhe pa JavaScript, siç shpjegojmë në përmbajtja bazë është e arritshme pa JavaScript. Të dy pikat kanë të bëjnë me të njëjtën pyetje: a mund ta shohë Google faqen tuaj ashtu si e sheh një vizitor, apo Google përfton një përshtypje të paplotë që shkon keq në vlerësimet.

Pse ky është më shumë se një detail teknik

Google përdor një proces i quajtur rendering: motori i kërkimit në thelb rindërton faqen tuaj, saktësisht siç e bën një shfletues, për të parë atë që një vizitor vërtet merr të shikojë. Kjo mund të ndodhë vetëm nëse Google lejohet të ketë akses në të gjitha komponentët e nevojshëm për këtë. Nëse CSS ose JavaScript bllokohet, Google sheh një faqe të mposhtë pa formatim, pa meny, ndonjëherë pa tekstin që ngarkohet me skripte.

Përfundimi është që Google vlerëson keq se çfarë përqendra faqja juaj. Një faqe që duket mirë për vizitorët mund t'i duket e pakuptueshme ose bosh Google-s. Kjo nuk është çështje e pak më pak pikësh. Kjo është çështja e mos të përfshirjes, ndërkohë që ju nuk bëtë asgjë gabim në vetë përmbajtjen.

Ka një dallim midis një faqe që nuk ekziston dhe një faqe që ekziston por u është bërë e paarritshme. Kjo prek edhe pikat e tjera në listën tonë të matjeve, si pyetja nëse një faqe e fshirë kthen një status 404 në mënyrë të rregullt, siç diskutojmë në faqja 404 në vetvete është e dobishme. Në të dy rastet shkon për qartësinë: tregojini Google-s atë që është dhe nuk është menduar të gjendet.

Si të kontrolloni vetë nëse gjithçka është në rregull

Shkruani emrin e domenit tuaj të ndjekur nga /robots.txt në shiritin e adresës të shfletuesit tuaj. Shfaqet një listë e thjeshtë me rregulla, zakonisht me fjalë si 'Disallow' e ndjekur nga një shteg. Disallow do të thotë: ky shteg nuk lejohet të vizitojnë. Shihni nëse ka diçka atje që nuk prisni, si një vijë të vetme anësore, e cila do të thotë se e tëra faqja është mbyllur.

Kushtojini vëmendje veçanërisht rregullave që drejtohen në dosje me emra si /wp-content/, /assets/, /css/ ose /js/. Këto janë shpesh saktësisht dosjet ku janë formatimi dhe ndërveprimi i faqes tuaj. Nëse ato bllokohen, ka shumë mundësi që Google nuk mund t'i renderojë mirë faqet tuaj, edhe nëse pjesa tjetër e skedarit duket e pafajshme.

Google Search Console, një shërbim falas i Google-s për pronarët e faqeve të internetit, ka një test me të cilin mund të kontrolloni një faqe të veçantë për probleme renderimi. Atje shihni një shembull të asaj se si Google e përsheh faqen tuaj. Nëse duket e mposhtë ose e dëmtuar ndërkohë që faqja në shfletuesin tuaj duket e mirë, atëherë kjo është një sinjal i qartë se diçka shkon keq me ngarkimin e CSS, JavaScript ose imazheve.

Nëse dyshoni se një rrugë e caktuar është përjashtuar qëllimisht ose aksidentalisht, atëherë konsultohuni me atë që ndërtoi faqen tuaj të internetit. Disa blokade janë të qëllimshme dhe të arsyeshme, si mbyllja e një rezultati të kërkimit të brendshëm, diçka mbi të cilën ne flasim veçmas në faqet e rezultateve të kërkimit të brendshëm në noindex. Blokade të tjera janë thjesht gabime nga një përkatësi standarde e cila nuk është rishikuar kurrë.

Sa kushton nëse kjo nuk është në rregull

Nëse robots.txt bllokon rrugë të rëndësishme, atëherë pa e pasur dijeni, ju mbyllni pjesë të faqes tuaj të internetit për Google. Këto mund të jenë faqe produktesh, artikujt e blogut, ose madje e gjithë faqja pas një zhvendosje në një sistem të ri. Kjo ndodh më shpesh se sa njerëzit mendojnë, veçanërisht pas një rinovimi të faqes tuaj të internetit, kur një vendosje e cila ishte menduar për mjedisin e testimit qëndron aksidentalisht në faqen e vërtetë.

E vështira është se nuk e vini re këtë në përdorimin tuaj ditor të faqes. Faqet ngarkojnë thjesht, vizitorët që marrin lidhjen drejtpërdrejt mund të arrijnë ende. Vetëm trafiku përmes motorëve të kërkimit thahet ngadalë, pa një arsye të qartë. Shumë sipërmarrës atëherë kërkojnë shkakun në përmbajtje ose në konkurrencën, ndërsa problemi qëndron në një skedar teknik të cilin nuk e kanë kurrë hapur.

Kur bllokohen vetëm CSS dhe JavaScript, efekti është më delikat por jo më pak dëmtues. Faqet tuaja mbeten të gjendetshme, por Google i vlerëson ato bazuar në një imazh të paplote. Teksti i cili ngarkohet përmes një skripti ndoshta nuk llogaritet. Një faqe e cila duket përperfekt për ju, vlerësohet nga Google si e varfër në përmbajtje, me të gjitha pasojat për pozicionin tuaj në rezultatet e kërkimit.

Restaurimi zakonisht nuk është çështje e punës të disa muajve. Shpesh bëhet fjalë për të ndryshuar disa rreshta në një skedar. Pika është se fillimisht duhet të njohni problemin. Pa kontroll, një blokade ndonjëherë mbetet e pa-vënë në dukje për shumë vite, thjesht për shkak se askush nuk e shikoi më atë pasi faqja u ndryshua për herë të fundit.

Çfarë duhet bërë për të rregulluar këtë

Pika fillestare është e thjeshtë: robots.txt mund të bllokoj vetëm rrugë të cilat dëshironi të përjashtoni me qëllim, si një faqe hyrjeje për administratorë ose një shportë e cila nuk duhet të shfaqet kurrë në rezultatet e kërkimit. Gjithçka që kontribuon në mënyrën se si duket ose funksionon faqja duhet të mbetet e arritshme. Ky është i gjithë parimi i këtij kontrolli: të mos mbyllesh për parandalim, por të mbyllesh me synim kur është e nevojshme.

Bëjini këtij skedari të kontrolloheni si pjesë e një përshkrimi më të gjerë të asaj që duhet dhe nuk duhet të indeksohet. Ai përshkrim, një matricë indeksimi për llojin e faqes, vendos hartën e cilat faqe duhet të jenë të dukshme për Google dhe cilat nuk duhet me qëllim, ashtu siç ne shpjegojmë në një matricë indeksimi për llojin e faqes. Robots.txt është atëherë instrumenti me të cilin këto zgjedhje kryhen, jo vendi ku këto zgjedhje mendohen.

Kontrolloni këtë skedar jo vetëm në ndërtimin e faqes, por edhe pas çdo ndryshimi të madh: një zhvendosje në një sistem tjetër, një ndërtues i ri i faqes, ose një rishtrukturimi i faqes. Këto janë pikërisht momentet kur përkatësitë përjashtohen aksidentalisht nga një mjedis testimi. Një kontroll i shkurtër përfundimisht parandalon që një vendosje të përkohshme të bëhet e përhershme.

Kujtohuni se robots.txt nuk qëndron vetë. Është në lidhje të ngushtë me sinjale të tjera të cilat i jepni Google, si udhëzimi në nivelin e faqes përmes një etikete noindex, mbi të cilën më shumë në noindex përmes meta robots ose X-Robots-Tag. Të dyja nuk duhet të kundërshohen njëra-tjetrën. Një faqe të cilën dëshironi të tregoni nuk duhet të hapet përmes një kanali dhe të bllokohet përmes tjetrit.