Google sitenizi gerçekten görebiliyor mu?

O dosya nedir peki

Her web sitesinin robots.txt adlı bir dosyası vardır veya olmalıdır. Bunu etki alanınızdan sonra /robots.txt yazarak bulabilirsiniz; örneğin şirketiniz.nl/robots.txt. Bu dosya, Google'ın sitenizi kontrol etmeden önce okuduğu ilk dosyadır. Düz metin biçiminde yazılıdır ve arama motorlarına sitenin hangi bölümlerini ziyaret edebileceklerini ve edememelerini söyler.

Bunu bir binanın girişinde asılı bir levhayla karşılaştırabilirsiniz. Bazı kapılar açıktır, diğerleri basit bir notla kapatılıdır. Sorun, işletmelerin bazen yanlış notu yanlışlıkla asmalarıdır. Bir arka kapıyı kapatmak yerine, tüm binayı ziyaretçiler için kapatırlar ve bu önemli odaları da içerir.

Ziyaret edilebilecek veya edilemeyecek yolların yanı sıra, daha ince bir şey söz konusudur: sayfayı oluşturan dosyalar. CSS'yi düşünün, biçimlendirmeden sorumludur ve JavaScript sayfadaki hareket ve etkileşimden sorumludur. robots.txt bu dosyaları engellemişse, Google sayfayı ziyaret edebilir ama düzgün göremez. Ardından sitenizin çıplak, kırık bir sürümünü görür.

Bu, başka bir kontrol noktası ile yakından ilişkilidir: çekirdek içeriğinizin JavaScript olmadan da erişilebilir olup olmadığı, çekirdek içerik JavaScript olmadan erişilebilir konusunda açıkladığımız gibi. Her iki nokta da aynı soruyla ilgilidir: Google sayfanızı bir ziyaretçinin gördüğü gibi görebiliyor mu, yoksa Google zayıf puanlanan eksik bir görüntü mü alıyor.

Bunu neden teknik bir ayrıntıdan daha fazlası

Google render adı verilen bir işlem kullanır: arama motoru temelde sayfanızı bir tarayıcının yaptığı gibi yeniden oluşturur ve bir ziyaretçinin gerçekte ne göreceğini görmek için. Bu ancak Google'ın bunun için gerekli olan tüm bileşenlere erişmesine izin verilirse mümkündür. CSS veya JavaScript engellemişse, Google biçimlendirmesiz, menüsüz, bazen komut dosyaları ile yüklenen metinsiz çıplak bir sayfa görür.

Sonuç olarak Google, sayfanızın neyle ilgili olduğunu yanlış hesaplar. Ziyaretçiler için iyi görünen bir sayfa, Google için anlaşılmaz veya boş görünebilir. Bu biraz daha az iyi puan almak meselesi değildir. Bu, içeriğin kendisinde hiçbir hata yapmadığınız halde dikkate alınmamak meselesidir.

Var olmayan bir sayfa ile var olan ama erişilemeyen bir sayfa arasında bir fark vardır. Bu, ölçüm listemizde başka noktaları da etkiler; örneğin silinen sayfanın 404-durum kodunu düzgün bir şekilde geri verip vermediği sorusu, 404-sayfasının kendisinin yararlı olması konusunda tartışıldığı gibi. Her iki durumda da söz konusu olan şeydir: Google'a bulunmasının amaçlandığı ve amaçlanmadığı şey gösterin.

Bunu kontrol etmek için kendi başınıza nasıl yapabilirsiniz

Tarayıcınızın adres çubuğuna etki alanınızı /robots.txt ile yazın. Basit bir kural listesi görünür, genellikle 'Disallow' kelimesi ve ardından bir yol. Disallow şu anlama gelir: bu yol ziyaret edilemez. Beklemediğiniz bir şey olup olmadığını kontrol edin; örneğin tek bir eğik çizgi, tüm sitenin kapatıldığı anlamına gelir.

/wp-content/, /assets/, /css/ veya /js/ gibi adlara sahip klasörlere atıfta bulunan kuralları özellikle dikkate alın. Bunlar genellikle sitenizin biçimlendirmesinin ve etkileşiminin olduğu klasörlerdir. Bunlar engellenirse, dosyanın geri kalanı masum görünse bile, Google'ın sayfalarınızı düzgün şekilde render etme olasılığı yüksektir.

Google Search Console, web sitesi sahipleri için Google tarafından sağlanan ücretsiz bir hizmet, render sorunları için belirli bir sayfayı kontrol etmenizi sağlayan bir teste sahiptir. Google'ın sayfanızı nasıl algıladığına dair bir örnek görebilirsiniz. Sayfanız tarayıcınızda iyi görünürken orada çıplak veya kırık görünüyorsa, bu CSS, JavaScript veya resimler yüklendiğinde bir sorun olduğunun açık bir sinyalidir.

Belirli bir yolun kasıtlı olarak mı yoksa yanlışlıkla mı hariç tutulduğundan emin değilseniz, web sitenizi yapanla danışın. Bazı engelleme işlemleri kasıtlıdır ve akıllıcadır, örneğin dahili bir arama sonucunu kapatmak; bu konuda dahili arama sonucu sayfalarının noindex ile kapatılmasında ayrıca açıklamıştır. Diğer engelleme işlemleri ise hiçbir zaman kontrol edilmeyen standart bir ayardan kaynaklanan basit hatalardır.

Bu düzende değilse maliyeti ne kadar

robots.txt önemli yolları engellerse, farkına varmadan sitenizin bölümlerini Google'dan kapatırsınız. Bunlar ürün sayfaları, blog makaleleri veya yeni bir sisteme geçişten sonra tüm site olabilir. Bu, özellikle web sitesi yenilemesinden sonra, test ortamı için amaçlanan bir ayarın yanlışlıkla gerçek sitede kalması durumunda sıkça meydana gelir.

Sinsi taraf, sitenin günlük kullanımında bunu fark etmemenizdir. Sayfalar yalnızca yüklenir; bağlantıyı doğrudan alanlar hala erişebilir. Yalnızca arama motorlarından gelen trafik, hiçbir açık neden olmaksızın yavaş yavaş azalır. Birçok girişimci sorunu daha sonra, arama sonuçlarınızdaki konum açısından tüm sonuçlarla birlikte, sorunu teknik bir dosyada buluştururken, hiç açmadıkları teknik bir dosyada yatar.

Yalnızca CSS ve JavaScript engellendiğinde, etki daha incelikli ancak daha az zararlı değildir. Sayfalarınız keşfedilebilir kalır, ancak Google bunları tamamlanmamış bir görüntüye dayalı olarak değerlendirir. Bir komut dosyası tarafından yüklenen metin, o zaman belki hesaba katılmayabilir. Sizin için harika görünen bir sayfa, Google tarafından içeriği zayıf olarak değerlendirilir; bu da arama sonuçlarındaki konumunuzu olumsuz etkiler.

Onarım genellikle aylar süren bir iş değildir. Çoğu zaman, bir dosyadaki birkaç satırı ayarlamaktan ibarettir. Sorun şudur ki, önce sorunu tanımanız gerekir. Kontrol olmadan, bir engelleme bazen yıllarca fark edilmeden kalabilir, yalnızca site en son değiştirildikten sonra kimse buna bakmadığı için.

Bunu düzeltmek için ne yapılması gerekir

Başlangıç noktası basittir: robots.txt yalnızca, yönetici giriş sayfası veya arama sonuçlarında asla görülmemesi gereken bir alışveriş sepeti gibi, kasıtlı olarak hariç tutmak istediğiniz yolları engellemelidir. Sayfanın nasıl göründüğüne veya çalıştığına katkıda bulunan her şey erişilebilir kalmalıdır. Bu kontrol noktasının tamamı bu prensiptir: ihtiyat amacıyla kapatmamak, gerektiğinde hedefli olarak kapatmamak.

Bu dosya, hangi sayfaların dizine eklenmesi ve hangilerin eklenmemesi gerektiğine ilişkin daha geniş bir bakış açısının parçası olarak kontrol edilsin. Bu bakış açısı, her sayfa türü için bir dizin matrisi, hangi sayfaların Google için görünür olması gerektiğini ve hangilerinin kasıtlı olarak görünmemesi gerektiğini (bir sayfa türü başına dizin matrisinde açıklanan şekilde) eşler. Robots.txt o zaman bu tercihler yapıldığı yer değil, bu tercihler yürütülen araçtır.

Bu dosyayı yalnızca sitenin inşası sırasında değil, aynı zamanda her büyük değişiklikten sonra da kontrol edin: başka bir sisteme geçiş, yeni bir web sitesi oluşturucu veya sitenin yeniden yapılandırılması. Bunlar, ayarların test ortamından yanlışlıkla taşındığı tam zamanlar. Sonraki kısa bir kontrol, geçici bir ayarın kalıcı hale gelmesini önler.

Ayrıca, robots.txt'nin kendi başına olmadığını unutmayın. Noindex etiketi aracılığıyla sayfa düzeyinde talimat gibi Google'a verdiğiniz diğer sinyallerle yakından bağlantılıdır; bu konuda noindex via meta robots veya X-Robots-Tag hakkında daha fazla bilgiye bakın. Her ikisi de birbirine karşı gelmemelidir. Göstermek istediğiniz bir sayfa bir kanal aracılığıyla açık bırakılıp başka bir kanal aracılığıyla engellenmemelidir.