Dapatkah Google benar-benar melihat website Anda?

Apa sebenarnya berkas itu

Setiap website memiliki, atau seharusnya memiliki, sebuah berkas bernama robots.txt. Anda menemukannya dengan mengetik /robots.txt setelah nama domain Anda, misalnya usahayou.nl/robots.txt. Berkas ini adalah yang pertama dibaca Google sebelum melihat situs Anda. Berkas ini dalam teks biasa dan memberi tahu mesin pencari bagian mana dari situs yang boleh dan tidak boleh mereka kunjungi.

Anda dapat membandingkannya dengan sebuah papan di pintu masuk gedung. Beberapa pintu terbuka, yang lain ditutup dengan selembar kertas sederhana. Masalahnya adalah perusahaan kadang-kadang tanpa sengaja menggantung kertas yang salah. Alih-alih menutup satu pintu belakang, mereka menutup seluruh gedung bagi pengunjung, termasuk ruang-ruang penting.

Selain jalur yang boleh atau tidak boleh dikunjungi, ada juga sesuatu yang lebih halus: berkas-berkas yang membangun halaman. Pikirkan CSS, yang menyediakan format, dan JavaScript, yang menyediakan gerakan dan interaksi di halaman. Jika robots.txt memblokir berkas-berkas itu, Google dapat mengunjungi halaman, tetapi tidak dapat melihatnya dengan baik. Itu melihat versi situs Anda yang kosong dan rusak.

Ini terkait erat dengan titik kontrol lain: apakah konten inti Anda juga dapat diakses tanpa JavaScript, seperti yang kami jelaskan di konten inti dapat diakses tanpa JavaScript. Kedua poin ini tentang pertanyaan yang sama: dapatkah Google melihat halaman Anda seperti yang dilihat pengunjung, atau apakah Google mendapatkan gambaran yang tidak lengkap yang mendapat skor buruk.

Mengapa ini lebih dari sekadar detail teknis

Google menggunakan proses yang disebut rendering: mesin pencari pada dasarnya membangun kembali halaman Anda, persis seperti yang dilakukan browser, untuk melihat apa yang benar-benar dilihat pengunjung. Itu hanya bisa terjadi jika Google diizinkan mengakses semua komponen yang diperlukan. Jika CSS atau JavaScript diblokir, Google melihat halaman kosong tanpa format, tanpa menu, kadang-kadang tanpa teks yang dimuat dengan skrip.

Akibatnya, Google salah memperkirakan apa halaman Anda tentang. Halaman yang terlihat baik bagi pengunjung dapat terlihat tidak dapat dipahami atau kosong bagi Google. Ini bukan masalah skor yang sedikit lebih rendah. Ini adalah masalah tidak dimasukkan sama sekali, padahal Anda tidak berbuat salah pada konten itu sendiri.

Ada perbedaan antara halaman yang tidak ada dan halaman yang ada tetapi telah dibuat tidak dapat diakses. Itu juga menyentuh poin-poin lain dalam daftar pengukuran kami, seperti pertanyaan apakah halaman yang dihapus dengan baik mengembalikan status 404, seperti yang kami bahas di halaman 404 itu sendiri membantu. Dalam kedua kasus, ini tentang kejelasan: tunjukkan kepada Google apa yang dimaksudkan untuk ditemukan dan apa yang tidak.

Cara Anda sendiri memeriksa apakah semuanya baik-baik saja

Ketik nama domain Anda diikuti oleh /robots.txt di bilah alamat browser Anda. Daftar aturan sederhana akan muncul, biasanya dengan kata-kata seperti 'Disallow' diikuti oleh jalur. Disallow berarti: jalur ini tidak boleh dikunjungi. Lihat apakah ada yang Anda tidak harapkan, seperti garis miring saja, yang berarti seluruh situs ditutup.

Perhatikan khususnya aturan yang merujuk ke folder dengan nama seperti /wp-content/, /assets/, /css/ atau /js/. Ini sering kali persis folder tempat format dan interaksi situs Anda berada. Jika folder-folder itu diblokir, kemungkinan besar Google tidak dapat merender halaman Anda dengan baik, meskipun sisa berkas terlihat tidak bersalah.

Google Search Console, layanan gratis Google untuk pemilik website, memiliki tes yang dengannya Anda dapat memeriksa halaman tertentu untuk masalah rendering. Di sana Anda akan melihat contoh bagaimana Google mempersepsikan halaman Anda. Jika terlihat kosong atau rusak sementara halaman di browser Anda terlihat baik, itu adalah sinyal jelas bahwa sesuatu salah saat memuat CSS, JavaScript, atau gambar.

Jika Anda ragu apakah jalur tertentu dikecualikan secara sengaja atau tidak sengaja, konsultasikan dengan orang yang membangun situs web Anda. Beberapa pemblokiran disengaja dan bijaksana, seperti menutup hasil pencarian internal, hal yang kami bahas secara terpisah di halaman hasil pencarian internal pada noindex. Pemblokiran lainnya hanyalah kesalahan dari pengaturan default yang tidak pernah diperiksa kembali.

Apa biayanya jika ini tidak dalam urutan

Jika robots.txt memblokir jalur penting, Anda secara tidak sadar menutup bagian situs Anda dari Google. Ini bisa berupa halaman produk, artikel blog, atau bahkan seluruh situs setelah pindah ke sistem baru. Ini terjadi lebih sering daripada yang dipikirkan orang, terutama setelah pembaruan situs web, ketika pengaturan yang dimaksudkan untuk lingkungan pengujian secara tidak sengaja tetap berada di situs aktual.

Hal yang licik adalah Anda tidak akan menyadarinya saat menggunakan situs sehari-hari. Halaman hanya dimuat, pengunjung yang mendapatkan tautan langsung tetap dapat mengaksesnya. Hanya lalu lintas dari mesin pencari yang secara perlahan berkurang, tanpa alasan yang jelas. Banyak pengusaha kemudian mencari penyebabnya dalam konten atau kompetisi, padahal masalahnya terletak pada file teknis yang belum pernah mereka buka.

Ketika hanya CSS dan JavaScript yang diblokir, efeknya lebih halus namun tidak kalah berbahaya. Halaman Anda tetap dapat ditemukan, tetapi Google mengevaluasinya berdasarkan gambaran yang tidak lengkap. Teks yang dimuat oleh skrip mungkin tidak diperhitungkan. Halaman yang terlihat sempurna bagi Anda dievaluasi oleh Google sebagai kekurangan konten, dengan semua konsekuensi untuk posisi Anda dalam hasil pencarian.

Perbaikan biasanya bukan masalah berbulan-bulan kerja. Sering kali hanya perlu menyesuaikan beberapa baris dalam file. Intinya adalah Anda harus terlebih dahulu mengenali masalahnya. Tanpa pemeriksaan, pemblokiran terkadang tetap tidak terdeteksi selama bertahun-tahun, hanya karena tidak ada yang melihatnya lagi setelah situs terakhir kali diubah.

Apa yang perlu dilakukan untuk membuat ini dalam urutan

Prinsipnya sederhana: robots.txt hanya boleh memblokir jalur yang secara sengaja ingin Anda kecualikan, seperti halaman login admin atau keranjang belanja yang tidak boleh muncul di hasil pencarian. Semua yang berkontribusi pada tampilan atau cara kerja halaman harus tetap dapat diakses. Itu adalah seluruh prinsip di balik titik kontrol ini: jangan tutup untuk berjaga-jaga, tetapi tutup secara bertarget jika diperlukan.

Biarkan file ini diperiksa sebagai bagian dari gambaran yang lebih luas tentang apa yang boleh dan tidak boleh diindeks. Gambaran itu, matriks pengindeksan per jenis halaman, memetakan halaman mana yang harus terlihat untuk Google dan mana yang secara sengaja tidak, seperti yang kami jelaskan dalam matriks pengindeksan per jenis halaman. Robots.txt kemudian adalah instrumen yang digunakan untuk melaksanakan pilihan-pilihan itu, bukan tempat di mana pilihan-pilihan itu dipikirkan.

Periksa file ini tidak hanya saat membangun situs, tetapi juga setelah setiap perubahan besar: pindah ke sistem lain, pembuat situs web baru, atau restrukturisasi situs. Ini adalah saat-saat yang tepat ketika pengaturan secara tidak sengaja dibawa dari lingkungan pengujian. Pemeriksaan singkat setelahnya mencegah pengaturan sementara menjadi permanen.

Ingat juga bahwa robots.txt tidak berdiri sendiri. Ini terkait erat dengan sinyal lain yang Anda berikan kepada Google, seperti instruksi tingkat halaman melalui tag noindex, yang kami bahas lebih lanjut di noindex melalui meta robots atau X-Robots-Tag. Keduanya tidak boleh saling bertentangan. Halaman yang ingin Anda tampilkan tidak boleh dibuka melalui satu saluran dan tetap diblokir melalui saluran lainnya.