Tista Google tivvedi l-websajt tiegħek verament?

X'inhu dak il-fajl għal-inqas

Kull websajt għandha, jew għandha jkollha, fajl bl-isem robots.txt. Issib bl-iżżamma wara l-isem tad-dominju tiegħek /robots.txt, pereżempju l-kummerċ-tiegħek.mt/robots.txt. Dan il-fajl huwa l-ewwel ħaġa li Google taqra qabel ma tivvedi s-sit tiegħek. Huwa hemm it-test sempliċi u jgħid lill-magni tal-ftiex liema partijiet tas-sit għandhom u m'għandhomx jivvizitaw.

Tista' tqabbel ma' tabella mal-entrata ta' bini. Xi ħitan huma miftuħa, oħrajn huma magħluqa b'faqgħa sempliċi. Il-problema hi li l-kummerċi xi kultant sehħa jappetu t-tabella ħamsa. Minflok li jagħlqu biss ġiba waħda, jagħlqu l-bini kollu għall-viżitaturi, inklużi l-ħwejjeġ l-aktar importanti.

Minbarra l-mogħdijiet li għandhom jew m'għandhomx jivvizitaw, għandu x'jaqsam ukoll ma' ħaġa iktar sottili: il-fajls li jbnu l-paġna. Ħsibt CSS, li jħarreġ il-format, u JavaScript, li jħarreġ il-moviment u l-interazzjoni fuq il-paġna. Jekk robots.txt jblokka dawk il-fajls, Google tista' tivvedi l-paġna, imma ma tistax tara tajjeb. Tara verżjoni mqaħra u miksura tas-sit tiegħek.

Dan qabbada mill-qrib ma' punt ta' ċċekkjar ieħor: jekk il-kontenut ewlieni tiegħek jkun aċċessibbli wkoll mingħajr JavaScript, kif nispiegaw fil-kontenut ewlieni aċċessibbli mingħajr JavaScript. It-tnejn għandhom x'jaqsmu mad-demanда l-istess: tista Google tara l-paġna tiegħek bħalma jravha viżitatur, jew tieħu ImageContext mhux komplut li jiskorja tajjeb.

Għaliex din aktar minn dettall teknika

Google tuża proċess li jissejjaħ rendering: il-magni tal-ftiex essenzjalment tneħħi l-paġna tiegħek, eżattament bħalma browser jagħmel, biex tara x'viżitatur tassew jirċievi. Dan jista' jkun possibbli biss jekk Google tista' tieħu l-partijiet kollha meħtieġa għal dan. Jekk CSS jew JavaScript mnixxiex, Google tara paġna mqaħra mingħajr format, mingħajr menu, xi kultant mingħajr it-test li scripts jittignu.

Il-konsegwenza hi li Google tmistur fejn paġna tiegħek fuqha. Paġna li tidher tajjeb għall-viżitaturi, tista' tidher mhux faħma jew vojta għal Google. Dan mhuwiex kwistjoni li tiskoring ftit inqas. Din kwistjoni li ma tkunx meħuda, filwaqt li m'għamel xejn ħamsa fuq il-kontenut nnifsu.

Hemm differenza bejn paġna li m'egħdux eżistu u paġna li teżistu imma tneħħet aċċessibbli. Dan jintilef ukoll fuq punti oħrajn fil-lista tal-kejl tiegħek, bħall-mistoqsija jekk paġna mneħħija tigħtik status 404 tajjeb, kif nispiegaw fil-paġna 404 nnifisha hija utli. F'kull każ, din dwar il-ċarezza: ari' lil Google x'hemm u m'hemm x'tinqala' biex tinstabx.

Kif taqak nnifisk jekk hemm sħiħ għandek

Iżżamm l-isem tad-dominju tiegħek imwiegħda minn /robots.txt fl-istrixxa tal-indirizz tal-browser tiegħek. Jidher lista sempliċi bi-regoli, ħafna drabi b'kliem bħal 'Disallow' imwiegħda minn mogħdi. Disallow jfisser: mogħdi dan m'għandux jivvizita. Ħarreġ jekk hemm ħaġa li ma tistennijitx, bħal sroċċa wieħed biss, li jfisser li s-sit kollu huwa magħluq.

Tħallef speċjalment fuq regoli li jirreferu għal foldri b'nomi bħal /wp-content/, /assets/, /css/ jew /js/. Ħafna drabi ħawwa huma s-sammiegħ fejn il-format u l-interazzjoni tas-sit tiegħek hemm. Jekk dawk jitkun imblokka, ħafna probabbilità li Google ma tistax tirrindir il-paġni tiegħek tajjeb, anki jekk ir-rest tal-fajl iddum inna.

Google Search Console, servizz ħieles ta' Google għall-proprjetari tas-websajts, għandu test li bih tista' ttestja paġna speċifika għal problemi tal-rendering. Tara hemm eżempju ta' kif Google tara l-paġna tiegħek. Tara li hemm mqaħra jew miksura filwaqt li l-paġna fil-browser tiegħek tidher tajjeb, allura din sinjal ċar li ħaġa tidher miżjad meta CSS, JavaScript jew immaġini jittignu.

Jekk għandek dubji jekk ċertu mogħdija ġiet eskluża intenzjonalment jew bl-iżball, ikkunsulta mal-persuna li bnejt il-websajt tiegħek. Xi blockaġġi huma intenzjonali u għaqli, bħall-għeluq ta' riżultat ta' tfittxija intern, ħaġa li nikkummentaw separatament fuq il-paġni tal-riżultati tat-tfittxija interna fuq noindex. Blockaġġi oħra huma sempliċi żbalji minn setting standard li qatt ma ġie kontrollat.

X'hu l-ispiża jekk dan m'hu fil-ordni

Jekk robots.txt jigglockja mogħdijas importanti, inti tuq partijiet tal-websajt tiegħek lil Google mingħajr ma tagħraf. Dawn jistgħu jkunu paġni tal-prodott, artikoli tal-blogg, jew sal-websajt kollu wara trasferiment għal sistema ġdida. Dan jiġri aktar ħafna milli jħossieħ in-nies, speċjalment wara revival tal-websajt, fejn setting li kienet imfakkar għall-ambjent ta' test bl-iżball tibqa' għall-sit attwali.

L-aktar veninjuż hu li m'hiex għandek ma tidher ta' dan fl-użu ta' kuljum tal-websajt. Il-paġni sempliċi jitloadjaw, vizitaturi li jirċievu l-link direttament jistgħu għall-ikun hemm. Biss it-traffiku minn magni tat-tfittxija jitfi bil-mod, mingħajr raġuni ċara. Ħafna intraprendituri jitilfu r-raġuni imbagħad fil-kontenut jew il-kompetizzjoni, filwaqt li l-problema tinsab f'fajl tekniċi li qatt ma taħtu miftuħ.

Meta biss CSS u JavaScript jiġu blokka, l-effett huwa aktar sottli imma mhux anqas ħażinuż. Il-paġni tiegħek ibqagħu jistgħu jintlaħqu, iżda Google jivalutahom fuq bażi ta' stampa inkompleta. It-test li jiġi caricata minn skript, forsi m'għandux jieħu kont. Paġna li tidher tajba għalik, tiġi evaluata minn Google bħala fqira fil-kontenut, bl-ilkoll tal-konsegwenzi għall-pożizzjoni tiegħek fir-riżultati tat-tfittxija.

Il-korezzjoni ġeneralment m'hiex kwistjoni ta' xhur ta' xogħol. Ħaftu tal-ħin huwa kwistjoni ta' ftit linji li jitmodifikaw f'fajl. Il-punt hu li l-ewwel għandek tidentifika l-problema. Mingħajr kontroll, blockaġġ b'xi ħin jibqa' mingħajr ma jtalqalih ħafna snin, sempliċi għax ħadd m'għad ħaraq wara li l-websajt ġiet adjustata aħħar darba.

X'aktarament għandu jiġri sabiex jidheq dan

Il-bidu hu sempliċi: robots.txt jista' biss jigglockja mogħdijas li intenzjonalment trid teskludi, bħal paġna ta' login għall-amministraturi jew ċarrieth x-xiri li orqod m'għandux jidher fir-riżultati tat-tfittxija. Kull ħaġa li tikkontribwixxi għal kif il-paġna tidher jew taħdem, għandha tibqa' aċċessibli. Dik l-integrità kollha wara dan il-punt tal-kontroll: m'għandekx timla t-tranċi minn kawtela, imma għaad tgħaqqad fejn meħtieġ.

Ħalli l-fajl din jiġi kontrollat bħala parti ta' viżjoni aktar wiesgħa ta' dak li għandu jiġi indexat u dak li m'għandux. L-viżjoni din, matriċi ta' indexazzjoni kull tip ta' paġna, iddiskrivija liema paġni għandhom jitkunu viżibbli għal Google u liema b'mod intenzjonali le, kif spjegajna f'matriċi ta' indexazzjoni kull tip ta' paġna. Robots.txt imbagħad hi l-istrument bi li dawk l-għażliet jitwettqu, mhux il-post fejn dawk l-għażliet jigu meqjusa.

Ikkontrollax il-fajl din mhux biss meta tinbena l-websajt, imma wkoll wara kull bidla kbira: trasferiment għal sistema oħra, website-builder ġdid, jew ristrutturazzjoni tal-websajt. Dawn huma eżattament il-mumenti meta settings bl-iżball jiġu trasportati minn ambjent ta' test. Kontroll qasir wara jipprevjeni li setting temporanju jibqa' permanenti.

Fakkra ruħ ukoll li robots.txt m'huwa waħdu. Hu mirtubat mill-qrib mas-sinjali oħra li tagħti lil Google, bħall-istruzzjoni tal-livell tal-paġna permezz ta' tag noindex, dak li nitkellem aktar dwar fuq noindex via meta robots jew X-Robots-Tag. Kemm għandhom ma jikkontraddixxu xulxin. Paġna li trid turi m'għandhiex tiġi miftuħa minn qasam u wkoll tiġi blokka minn ieħor.