Bolehkah Google benar-benar melihat laman web anda?

Apakah fail itu sebenarnya

Setiap laman web mempunyai, atau sepatutnya mempunyai, fail bernama robots.txt. Anda akan menemuinya dengan menaip /robots.txt selepas nama domain anda, contohnya syarikatanda.my/robots.txt. Fail ini adalah yang pertama dibaca oleh Google sebelum melihat tapak anda. Ia ditulis dalam teks biasa dan memberitahu mesin carian bahagian mana di tapak yang boleh dan tidak boleh mereka lawati.

Anda boleh membandingkannya dengan papan tanda di pintu masuk sebuah bangunan. Beberapa pintu terbuka, yang lain ditutup dengan surat ringkas. Masalahnya ialah perniagaan kadangkala secara tidak sengaja memasang papan tanda yang salah. Daripada menutup satu pintu belakang sahaja, mereka menutup seluruh bangunan untuk pengunjung, termasuk ruang yang paling penting.

Selain laluan yang boleh atau tidak boleh dilawati, ia juga melibatkan sesuatu yang lebih halus: fail yang membina halaman. Fikirkan tentang CSS, yang menyediakan pemformatan, dan JavaScript, yang menyediakan gerakan dan interaksi di halaman. Jika robots.txt menghalang fail-fail ini, Google boleh melawati halaman, tetapi tidak dapat melihatnya dengan baik. Ia kemudian melihat versi tapak anda yang kosong dan rosak.

Ini berkait rapat dengan titik kawalan lain: sama ada kandungan teras anda juga boleh diakses tanpa JavaScript, seperti yang kami jelaskan dalam kandungan teras boleh diakses tanpa JavaScript. Kedua-dua perkara ini berkaitan dengan soalan yang sama: bolehkah Google melihat halaman anda seperti yang dilihat oleh pengunjung, atau adakah Google mendapat gambaran yang tidak lengkap yang mendapat skor buruk.

Mengapa ini lebih daripada perincian teknikal

Google menggunakan proses yang dipanggil rendering: mesin carian pada asasnya membina semula halaman anda, betul-betul seperti pelayar melakukannya, untuk melihat apa yang benar-benar dilihat oleh pengunjung. Ini hanya boleh dilakukan jika Google dibenarkan mengakses semua komponen yang diperlukan. Jika CSS atau JavaScript dihalang, Google melihat halaman kosong tanpa pemformatan, tanpa menu, kadangkala tanpa teks yang dimuatkan dengan skrip.

Hasilnya ialah Google salah menganggar perkara apa halaman anda. Sebuah halaman yang kelihatan bagus untuk pengunjung boleh kelihatan tidak dapat difahami atau kosong untuk Google. Ini bukan perkara mendapat skor yang lebih rendah sedikit. Ia perkara tidak diambil kira, sedangkan anda tidak melakukan apa-apa yang salah pada kandungan itu sendiri.

Ada perbezaan antara halaman yang tidak wujud dan halaman yang wujud tetapi telah dibuat tidak dapat diakses. Ini juga menyentuh titik-titik lain dalam senarai pengukuran kami, seperti soalan sama ada halaman yang dibuang memberikan status 404 yang sempurna, seperti yang kami bincangkan dalam halaman 404 itu sendiri adalah berguna. Dalam kedua-dua kes, ia berkaitan dengan kejelasan: tunjukkan kepada Google apa yang dimaksudkan dan tidak dimaksudkan untuk ditemui.

Bagaimana anda menyemak sendiri sama ada semuanya teratur

Taipkan nama domain anda diikuti dengan /robots.txt dalam bar alamat pelayar anda. Senarai peraturan yang mudah akan muncul, biasanya dengan perkataan seperti 'Disallow' diikuti dengan laluan. Disallow bermaksud: laluan ini tidak boleh dilawati. Semak sama ada terdapat sesuatu yang tidak anda jangkakan di sana, seperti garis miring sahaja, yang bermaksud keseluruhan tapak telah ditutup.

Perhatian khususnya pada peraturan yang merujuk kepada folder dengan nama seperti /wp-content/, /assets/, /css/ atau /js/. Ini selalunya folder-folder di mana pemformatan dan interaksi tapak anda berada. Jika folder-folder ini dihalang, kemungkinan besar Google tidak dapat merender halaman anda dengan baik, walaupun bahagian lain fail itu kelihatan tidak bersalah.

Google Search Console, perkhidmatan percuma Google untuk pemilik laman web, mempunyai ujian yang membolehkan anda memeriksa halaman tertentu untuk masalah rendering. Anda akan melihat contoh bagaimana Google menganggap halaman anda. Jika ia kelihatan kosong atau rosak sedangkan halaman dalam pelayar anda kelihatan baik, itu adalah isyarat yang jelas bahawa sesuatu berlaku semasa memuatkan CSS, JavaScript atau imej.

Jika anda ragu-ragu sama ada laluan tertentu sengaja dikecualikan atau secara tidak sengaja, berbincanglah dengan orang yang telah membina laman web anda. Beberapa penyekat adalah sengaja dan bijaksana, seperti menutup hasil carian dalaman, sesuatu yang kami bincangkan secara berasingan di halaman hasil carian dalaman pada noindex. Penyekat lain hanyalah ralat mudah daripada tetapan piawai yang tidak pernah diperiksa semula.

Kos jika ini tidak teratur

Jika robots.txt menghalang laluan penting, anda menutup bahagian laman web anda daripada Google tanpa sedar. Itu boleh berupa halaman produk, artikel blog, atau bahkan seluruh laman selepas perpindahan ke sistem baru. Ini berlaku lebih kerap daripada yang orang fikirkan, terutamanya selepas pembaharuan laman web, di mana tetapan yang dimaksudkan untuk persekitaran ujian secara tidak sengaja kekal di tapak sebenar.

Perkara yang jahat ialah anda tidak akan menyedarinya dalam penggunaan harian laman web anda. Halaman hanya memuatkan, pelawat yang mendapat pautan secara langsung masih boleh sampai di sana. Hanya trafik daripada enjin carian yang berkurangan perlahan-lahan, tanpa sebab yang jelas. Banyak usahawan kemudian mencari punca dalam kandungan atau persaingan, padahal masalahnya terletak dalam fail teknikal yang tidak pernah mereka buka.

Apabila hanya CSS dan JavaScript yang disekat, kesannya lebih halus tetapi tidak kurang memudaratkan. Halaman anda tetap boleh ditemui, tetapi Google menilainya berdasarkan gambaran yang tidak lengkap. Teks yang dimuatkan oleh skrip mungkin tidak dikira. Halaman yang kelihatan baik untuk anda dinilai oleh Google sebagai miskin kandungan, dengan semua akibatnya untuk kedudukan anda dalam hasil carian.

Pemulihan biasanya bukan masalah bekerja selama berbulan-bulan. Selalunya ia adalah masalah menyesuaikan beberapa baris dalam fail. Intinya ialah anda mesti mengenali masalah terlebih dahulu. Tanpa pemeriksaan, sekatan kadangkala kekal tidak disedari selama bertahun-tahun, hanya kerana tiada siapa yang memandangnya lagi selepas laman tersebut diubah suai buat kali terakhir.

Apa yang mesti dilakukan untuk memperbaikinya

Premisnya mudah: robots.txt hanya boleh menghalang laluan yang anda ingin kecualikan dengan sengaja, seperti halaman log masuk untuk pentadbir atau keranjang belanja yang tidak sepatutnya muncul dalam hasil carian. Semua yang menyumbang kepada rupa atau cara halaman berfungsi mesti tetap boleh diakses. Itulah keseluruhan prinsip di sebalik titik pemeriksaan ini: jangan tutup sebagai amaran berjaga-jaga, tetapi tutup dengan bertujuan di mana perlu.

Biarkan fail ini diperiksa sebagai sebahagian daripada tinjauan yang lebih luas tentang apa yang perlu dan tidak perlu diindeks. Tinjauan itu, matriks pengindeksan setiap jenis halaman, memetakan halaman mana yang perlu dilihat oleh Google dan mana yang tidak, seperti yang kami jelaskan dalam matriks pengindeksan setiap jenis halaman. Robots.txt kemudiannya adalah alat untuk melaksanakan pilihan tersebut, bukan tempat untuk membuat pilihan tersebut.

Periksa fail ini bukan sahaja semasa pembinaan laman, tetapi juga selepas setiap perubahan besar: perpindahan ke sistem lain, pembina laman web baru, atau penstrukturan semula laman. Ini adalah masa-masa yang tepat apabila tetapan secara tidak sengaja dibawa dari persekitaran ujian. Pemeriksaan ringkas selepasnya mengelakkan tetapan sementara daripada menjadi kekal.

Ingat juga bahawa robots.txt tidak berdiri sendiri. Ia terkait rapat dengan isyarat lain yang anda berikan kepada Google, seperti arahan pada peringkat halaman melalui tag noindex, yang mana lebih banyak di noindex melalui meta robots atau X-Robots-Tag. Kedua-duanya tidak boleh bercanggah antara satu sama lain. Halaman yang ingin anda paparkan tidak boleh dibuka melalui satu saluran dan dihalang lagi melalui saluran lain.