Kan Google jou webwerf wel werklik sien?
'n Klein tegniese lêer, robots.txt, bepaal of Google jou werf mag sien en render, en 'n fout hierin kan jou hele vindbaarheid stilset sonder dat jy iets opmerk.
Wat is daardie lêer nou eintlik
Elke webwerf het, of behoort te hê, 'n lêer met die naam robots.txt. Jy vind dit deur agter jou domeinnaam /robots.txt in te tik, byvoorbeeld uwbedryf.nl/robots.txt. Hierdie lêer is die eerste wat Google lees voordat dit jou werf besoek. Dit staan in gewone teks en sê aan soekmasjiene watter dele van die werf hulle wel en nie mag besoek nie.
Jy kan dit vergelyk met 'n bordjie by die ingang van 'n gebou. Sommige deure staan oop, ander is met 'n eenvoudige nooitjie afgesluit. Die probleem is dat besighede soms per ongeluk die verkeerde nooitjie ophang. In plaas van een agterdeur af te sluit, sluit hulle die hele gebou af vir besoekers, insluitend die belangrikste ruimtes.
Naas die paaie wat wel of nie besoek mag word nie, gaan dit ook om iets subtielers: die lêers wat die bladsy opbou. Dink aan CSS, wat sorg vir die opmaak, en JavaScript, wat sorg vir beweging en interaksie op die bladsy. As robots.txt daardie lêers blokkeer, kan Google die bladsy wel besoek, maar nie goed sien nie. Dit sien dan 'n kaal, gebroke weergawe van jou werf.
Dit hang nou saam met nog 'n kontrolepunt: of jou kerninhoud ook sonder JavaScript bereikbaar is, soos ons verduidelik by die kerninhoud is bereikbaar sonder JavaScript. Albei punte gaan oor dieselfde vraag: kan Google jou bladsy sien soos 'n besoeker dit sien, of kry Google 'n onvolledige beeld wat sleg telwerk.
Waarom dit meer is as 'n tegniese detalj
Google gebruik 'n proses wat rendering heet: die soekmasjien bou jou bladsy in feite na, presies soos 'n blaaier dit doen, om te sien wat 'n besoeker werklik te sien kry. Dit kan net as Google by alle onderdele mag wat daarvoor nodig is. As CSS of JavaScript geblokkeer is, sien Google 'n kaal bladsy sonder opmaak, sonder menu, soms sonder die teks wat met skrifte ingelaai word.
Die gevolg is dat Google verkeerd bepaal waaroor jou bladsy gaan. 'n Bladsy wat vir besoekers prima lyk, kan vir Google onbegryplik of leeg lyk. Dit is nie 'n kwessie van net 'n bietjie slegter telwerk nie. Dit is 'n kwessie van nie ingesluit word nie, terwyl jy niks fout gemaak het aan die inhoud self nie.
'n Verskil bestaan tussen 'n bladsy wat nie bestaan en 'n bladsy wat wel bestaan maar onbereikbaar gemaak is. Dit raak ook ander punte in ons meetlys, soos die vraag of 'n verwyderde bladsy netjies 'n 404-status terugbou, soos ons verduidelik by die 404-bladsy self is behulpsaam. In albei gevalle gaan dit om duidelikheid: wys vir Google wat wel en nie bedoel is om gevind te word nie.
Hoe jy self naslaan of dit by jou in orde is
Tik jou domeinnaam gevolg deur /robots.txt in die adresbalk van jou blaaier. Daar verskyn 'n eenvoudige lys met reëls, meestal met woorde soos 'Disallow' gevolg deur 'n pad. Disallow beteken: hierdie pad mag nie besoek word nie. Kyk of daar iets staan wat jy nie verwag nie, soos 'n skuins streep alleen, wat beteken dat die hele werf afgesluit is.
Let veral op reëls wat verwys na gidse met name soos /wp-content/, /assets/, /css/ of /js/. Dit is dikwels presies die gidse waar die opmaak en interaksie van jou werf instaan. Staan daardie geblokkeer, dan is die kans groot dat Google jou bladsye nie goed kan render nie, al lyk die res van die lêer onskuldig.
Google Search Console, 'n gratis diens van Google vir webwerfeienaars, het 'n toets waarmee jy 'n spesifieke bladsy kan kontroleer op renderprobleme. Jy sien daar 'n voorbeeld van hoe Google jou bladsy waarneem. Sien dit daar kaal of gebroke uit terwyl die bladsy in jou blaaier prima lyk, dan is dit 'n duidelik sein dat daar iets misgaan by die laai van CSS, JavaScript of beelde.
Twyfel u of 'n bepaalde pad opsetlik is uitgesluit of per ongeluk, bespreek dit dan met wie u se webwerf het gebou. Sommige blokkeringsliste is doelbewus en verstandig, soos die afsluiting van 'n interne soekresultaat, iets waarop ons afsonderlik ingaan by interne soekresultatbladsye op noindex. Ander blokkeringsliste is bloot foute uit 'n standaardinstelling wat nooit is nagegaan.
Wat dit kos as dit nie in orde is nie
As robots.txt belangrike paaie blokkeer, sluit u sonder dat u dit opmerk dele van u webwerf af vir Google. Dit kan produksiebladsye wees, blogartikels, of selfs die hele werf na 'n verhuising na 'n nuwe stelsel. Dit gebeur meer dikwels as mense dink, veral na 'n webwerfvernuwing, waar 'n instelling wat bedoel was vir die toetsomgewing per ongeluk op die egte werf bly.
Die slim ding is dat u daar niks van opmerk in u daaglikse gebruik van die werf. Die bladsye laai bloot, besoekers wat die skakel direk kry, kan nog steeds daar kom. Net die verkeer via soekmasjiene droog stadig op, sonder duidelike rede. Baie ondernemers soek die oorsaak dan in die inhoud of die mededinging, terwyl die probleem in 'n tegniese lêer sit wat hulle nog nooit oopgemaak het nie.
Wanneer slegs CSS en JavaScript geblokkeer word, is die uitwerking meer subtiel maar nie minder skadelik nie. U bladsye bly wel opvindbaar, maar Google beoordeel hulle op grond van 'n onvolledige prentjie. Teks wat deur 'n skrip ingelaai word, tel dalk nie mee nie. 'n Bladsy wat vir u prima lyk, word deur Google beoordeel as arm aan inhoud, met al die gevolge vir u posisie in die soekresultate.
Herstel is gewoonlik nie 'n kwessie van maande werk nie. Dit gaan dikwels oor 'n paar lyne aanpassing in 'n lêer. Die punt is dat u die probleem eers moet herken. Sonder kontrole bly 'n blokkering soms jare lank onopgemerkt, bloot omdat niemand dit nog nagegaan het nadat die werf laas aangebring is nie.
Wat moet gedoen word om dit in orde te kry
Die uitgangspunt is eenvoudig: robots.txt mag slegs paaie blokkeer wat u doelbewus wil uitsluit, soos 'n aanmeldingsbladsy vir bestuurders of 'n winkelwatjie wat tog nooit in soekresultate hoort te verskyn nie. Alles wat bydra tot hoe die bladsy lyk of werk, moet toeganklik bly. Dit is die hele beginsel agter hierdie kontrolepunt: nie doodtimmeren uit voorsorg nie, maar geleidelik afsluiting waar dit nodig is.
Laat hierdie lêer kontroleer as deel van 'n breër oorsig van wat wel en nie geïndekseer behoort te word nie. Daardie oorsig, 'n indeksasie-matriks per bladsyetipe, bring in kaart watter bladsye sigbaar moet wees vir Google en watter doelbewus nie, soos ons toelig by 'n indeksasie-matriks per bladsyetipe. Robots.txt is dan die instrument waarmee daardie keuses uitgevoer word, nie die plek waar daardie keuses bedink word nie.
Kontroleer hierdie lêer nie slegs by die bou van die werf nie, maar ook na elke groot wysiging: 'n verhuising na 'n ander stelsel, 'n nuwe webwerfbouprogramma, of 'n herstrukturering van die werf. Dit is presies die oomblikke wanneer instellings per ongeluk saamgeneem word uit 'n toetsomgewing. 'n Kort kontrole daarna voorkom dat 'n tydelike instelling permanent word.
Hou ook in gedagte dat robots.txt nie op sigself staan nie. Dit is nou verbind met ander seine wat u aan Google gee, soos die instruksie op bladsyvlak via 'n noindex-etiket, waaroor meer by noindex via meta robots of die X-Robots-Tag. Albei mag mekaar nie teenspring nie. 'n Bladsy wat u wil toon mag nie via die een kanaal oopgesit word en via die ander nog steeds geblokkeer word nie.
Gereelde vrae
Kan ek robots.txt self aanpas sonder webwerfbouprogramma
Tegnies is dit 'n eenvoudige tekslêer en u kan dit self oopmaak en wysig. In die praktyk is voorzichtigheid verstandig: een verkeerde reël kan u hele webwerf vir Google afsluiting. Laat 'n wysigings deur iemand wat u webwerf bestuur kontroleer, of toets die aanpassing eers met die instrument in Google Search Console voordat u dit definitief deurvoer.
Beteken 'n blokkade in robots.txt dat die bladsy onmiddellik uit Google verdwyn
Nie onmiddellik nie, en nie altyd volledig nie. Die effek bou homself dikwels geleidelik op soos Google die blokkade meer dikwels teëkom. Soms bly 'n bladsy nog sigbaar sonder beskrywing, omdat Google die titel wel ken maar die inhoud nie mag besigtig. Die resultaat is in alle gevalle 'n swakker posisie as wanneer die bladsy volledig toeganklik was.
Ek het geen robots.txt-lêer nie, is dit 'n probleem
Sonder hierdie lêer mag Google in beginsel oral kom, dus in daardie sin is daar geen direkte blokkade. Tog is dit verstandig om een te hê, al is dit net om bewus 'n paar paaie uit te sluit, soos 'n interne soeksisteem. Dit sluit ook aan by kontrolepunt 1.2, waar ons ingaan op die presiese inrigting hiervan, soos lesing by kontrolepunt 1.2.
Verder lees
Hoe staan u eie werf daar?
Twee syfers, binne 'n minuut, kosteloos — en u hoef niks agter te laat nie.
Verkies u liewer dadelik die volledige verslag? Uitgebreide skandering — € 49 →
Wil u weet waaraan dit lê?
Hierdie skandering gee u die stand. Die verslag gee u die oorsake en die volgorde waarin u hulle aanspreek.
- Per bevinding wat verkeerd is en wat moet gebeurDie gratis scan gee u die stand. Die verslag gee u die lys — in gewone taal, in volgorde van hoe swaar dit weeg, sonder dat u iets tegnies hoef te verstaan.
- Al vier die AI-assistente in plaas van eenDie gratis uitslag is 'n steekproef by een assistent. Die verslag stel agt vrae aan almal vier, sodat u weet of dit aan een assistent lê of aan almal.
- Watter maatskappye wel genoem wordWie kry die kliënt wat u mis? Daardie name staan in die verslag, met hoe dikwels hulle voorkom waar u afwesig is.
- 'n Dieper meting van u webwerfDie gratis scan kyk na tien bladsye. Die verslag deurloop dit tot vyftig, dus ook die bladsye waar u kliënte uiteindelik beland.