Google có thể xem thực sự được website của bạn không?

Vậy tệp đó thực chất là gì

Mỗi website đều có, hoặc nên có, một tệp có tên robots.txt. Bạn tìm thấy nó bằng cách nhập /robots.txt sau tên miền của bạn, ví dụ như cothedieuhanh.vn/robots.txt. Tệp này là tệp đầu tiên mà Google đọc trước khi xem trang web của bạn. Nó được viết bằng văn bản thường và nói với các công cụ tìm kiếm những phần nào của trang web mà chúng được phép truy cập và những phần nào không được phép.

Bạn có thể so sánh nó với một biển báo ở cửa vào của một tòa nhà. Một số cửa được mở, những cửa khác được đóng lại bằng một tờ giấy đơn giản. Vấn đề là các công ty đôi khi vô tình treo biển báo sai. Thay vì chỉ đóng một cửa sau, họ đóng toàn bộ tòa nhà đối với khách truy cập, kể cả các phòng quan trọng nhất.

Bên cạnh những đường dẫn được phép hoặc không được phép truy cập, nó cũng liên quan đến một điều tinh tế hơn: những tệp tạo nên trang. Hãy nghĩ đến CSS, cung cấp định dạng, và JavaScript, cung cấp chuyển động và tương tác trên trang. Nếu robots.txt chặn những tệp này, Google có thể truy cập trang, nhưng không thể xem nó đúng cách. Nó sẽ thấy một phiên bản trống trải, bị hỏng của trang web của bạn.

Điều này gắn liền với một điểm kiểm soát khác: liệu nội dung cốt lõi của bạn có thể tiếp cận được mà không cần JavaScript, như chúng tôi giải thích trong nội dung cốt lõi có thể tiếp cận được mà không cần JavaScript. Cả hai điểm đều liên quan đến cùng một câu hỏi: Google có thể xem trang của bạn như một khách truy cập thấy nó, hay Google chỉ nhận được một hình ảnh không hoàn chỉnh mà có điểm số kém.

Tại sao điều này không chỉ là một chi tiết kỹ thuật

Google sử dụng một quá trình gọi là rendering: công cụ tìm kiếm về cơ bản xây dựng lại trang của bạn, chính xác như cách một trình duyệt làm điều đó, để xem một khách truy cập thực sự nhận được gì. Điều này chỉ có thể xảy ra nếu Google được phép truy cập tất cả các thành phần cần thiết cho việc đó. Nếu CSS hoặc JavaScript bị chặn, Google sẽ thấy một trang trống trải không có định dạng, không có menu, đôi khi không có văn bản được tải bằng tập lệnh.

Hậu quả là Google sai lầm về những gì trang của bạn nói về. Một trang trông tốt đối với khách truy cập có thể trông không thể hiểu được hoặc trống đối với Google. Đây không phải là vấn đề về điểm số kém một chút. Đó là vấn đề về việc không được đưa vào xem xét, mặc dù bạn không làm gì sai với nội dung của chính nó.

Có một sự khác biệt giữa một trang không tồn tại và một trang tồn tại nhưng đã được làm cho không thể tiếp cận. Điều này cũng ảnh hưởng đến các điểm khác trong danh sách đo của chúng tôi, chẳng hạn như câu hỏi về việc một trang bị xóa có trả lại mã trạng thái 404 ngăn nắp hay không, như chúng tôi thảo luận trong trang 404 tự nó có hữu ích. Trong cả hai trường hợp, nó là về sự rõ ràng: hãy cho Google thấy những gì được dự định để được tìm thấy và những gì không.

Cách bạn tự kiểm tra xem mọi thứ có ổn không

Nhập tên miền của bạn theo sau /robots.txt vào thanh địa chỉ của trình duyệt. Một danh sách quy tắc đơn giản xuất hiện, thường với các từ như 'Disallow' theo sau bởi một đường dẫn. Disallow có nghĩa là: không được phép truy cập đường dẫn này. Kiểm tra xem có thứ gì đó không như bạn kỳ vọng, chẳng hạn như một dấu gạch chéo duy nhất, có nghĩa là toàn bộ trang web đã bị đóng lại.

Chú ý đặc biệt đến các quy tắc tham chiếu đến các thư mục có tên như /wp-content/, /assets/, /css/ hoặc /js/. Đây thường là chính xác những thư mục nơi định dạng và tương tác của trang web của bạn ở. Nếu những cái đó bị chặn, thì có khả năng cao rằng Google không thể render các trang của bạn đúng cách, ngay cả khi phần còn lại của tệp có vẻ vô tội.

Google Search Console, một dịch vụ miễn phí từ Google dành cho chủ sở hữu trang web, có một bài kiểm tra mà bạn có thể sử dụng để kiểm tra một trang cụ thể cho các vấn đề render. Bạn thấy một ví dụ về cách Google cảm nhận trang của bạn ở đó. Nếu điều đó trông trống trải hoặc bị hỏng trong khi trang trông tốt trong trình duyệt của bạn, thì đó là một tín hiệu rõ ràng rằng có điều gì đó không ổn với việc tải CSS, JavaScript hoặc hình ảnh.

Nếu bạn không chắc liệu một đường dẫn cụ thể có bị loại trừ cố ý hay vô tình, hãy trao đổi với người đã xây dựng trang web của bạn. Một số khối chặn là có ý định và hợp lý, chẳng hạn như đóng kết quả tìm kiếm nội bộ, điều mà chúng tôi sẽ nêu riêng trong các trang kết quả tìm kiếm nội bộ trên noindex. Các khối chặn khác chỉ là những lỗi từ cài đặt mặc định không bao giờ được kiểm tra lại.

Chi phí khi điều này không đúng

Nếu robots.txt chặn các đường dẫn quan trọng, bạn sẽ vô tình đóng một phần trang web của mình với Google mà không nhận ra. Đó có thể là các trang sản phẩm, bài viết blog, hoặc thậm chí toàn bộ trang web sau khi chuyển sang một hệ thống mới. Điều này xảy ra thường xuyên hơn mọi người nghĩ, đặc biệt là sau khi làm mới trang web, khi một cài đặt dự định cho môi trường thử nghiệm vô tình vẫn còn trên trang web thực tế.

Điều nguy hiểm là bạn sẽ không nhận ra điều gì đó trong việc sử dụng trang web hàng ngày của mình. Các trang chỉ cần tải, những khách truy cập nhận được liên kết trực tiếp vẫn có thể truy cập được. Chỉ lưu lượng truy cập từ các công cụ tìm kiếm sẽ dần khô cạn mà không có lý do rõ ràng. Nhiều doanh nhân sau đó tìm kiếm nguyên nhân trong nội dung hoặc cạnh tranh, trong khi vấn đề nằm trong một tệp kỹ thuật mà họ chưa bao giờ mở.

Khi chỉ CSS và JavaScript bị chặn, hiệu ứng sẽ tinh tế hơn nhưng không kém phần có hại. Các trang của bạn vẫn có thể được tìm thấy, nhưng Google sẽ đánh giá chúng dựa trên một bức tranh không đầy đủ. Văn bản được tải bằng tập lệnh có thể không được tính. Một trang trông rất tốt cho bạn sẽ được Google đánh giá là thiếu nội dung, với tất cả những hậu quả cho vị trí của bạn trong kết quả tìm kiếm.

Sửa chữa thường không phải là vấn đề của nhiều tháng công việc. Thường đó chỉ là điều chỉnh một vài dòng trong một tệp. Vấn đề là bạn phải nhận ra vấn đề trước. Nếu không kiểm tra, một khối chặn đôi khi vẫn có thể không được phát hiện trong nhiều năm, đơn giản vì không ai nhìn lại nó sau khi trang web được điều chỉnh lần cuối.

Điều gì phải được thực hiện để khắc phục điều này

Nguyên tắc cơ bản rất đơn giản: robots.txt chỉ được phép chặn các đường dẫn mà bạn cố ý muốn loại trừ, chẳng hạn như trang đăng nhập cho quản trị viên hoặc giỏ hàng không bao giờ nên xuất hiện trong kết quả tìm kiếm. Mọi thứ góp phần vào cách trang trông hoặc hoạt động phải vẫn có thể truy cập được. Đó là toàn bộ nguyên tắc đằng sau điểm kiểm soát này: không đóng cửa để phòng ngừa, mà đóng cửa có mục đích nơi cần thiết.

Hãy kiểm tra tệp này như một phần của tổng quan rộng hơn về những gì nên và không nên được lập chỉ mục. Tổng quan đó, một ma trận lập chỉ mục cho mỗi loại trang, lập bản đồ các trang nào phải hiển thị cho Google và những trang nào cố ý không, như chúng tôi giải thích trong ma trận lập chỉ mục cho mỗi loại trang. Robots.txt sau đó là công cụ mà những lựa chọn này được thực hiện, không phải nơi những lựa chọn này được suy nghĩ.

Kiểm tra tệp này không chỉ khi xây dựng trang web, mà còn sau mỗi thay đổi lớn: chuyển sang hệ thống khác, trình tạo trang web mới hoặc cấu trúc lại trang web. Đây chính xác là những lúc cài đặt vô tình được mang theo từ môi trường thử nghiệm. Một kiểm tra ngắn sau đó sẽ ngăn chặn một cài đặt tạm thời trở thành vĩnh viễn.

Cũng hãy nhớ rằng robots.txt không tồn tại riêng biệt. Nó được kết nối chặt chẽ với các tín hiệu khác mà bạn gửi cho Google, chẳng hạn như hướng dẫn ở cấp trang thông qua thẻ noindex, mà bạn có thể tìm thêm thông tin trong noindex qua meta robots hoặc X-Robots-Tag. Cả hai không được mâu thuẫn nhau. Một trang mà bạn muốn hiển thị không được mở qua một kênh và sau đó lại bị chặn qua kênh khác.