Can Google really view your website?

What is that file anyway

Every website has, or should have, a file named robots.txt. You find it by typing /robots.txt after your domain name, for example yourbusiness.nl/robots.txt. This file is the first thing Google reads before it views your site. It is plain text and tells search engines which parts of the site they can and cannot visit.

You can compare it to a sign at the entrance of a building. Some doors are open, others are closed with a simple note. The problem is that companies sometimes accidentally put up the wrong note. Instead of closing just one back door, they close the entire building to visitors, including the most important rooms.

Besides the paths that may or may not be visited, there is also something more subtle: the files that build the page. Think of CSS, which handles formatting, and JavaScript, which creates movement and interaction on the page. If robots.txt blocks those files, Google can visit the page, but cannot view it properly. It then sees a bare, broken version of your site.

This is closely related to another checkpoint: whether your core content is also accessible without JavaScript, as we explain in core content is accessible without JavaScript. Both points address the same question: can Google see your page the way a visitor sees it, or does Google get an incomplete picture that scores poorly.

Why this is more than a technical detail

Google uses a process called rendering: the search engine essentially rebuilds your page, exactly the way a browser does, to see what a visitor actually sees. This only works if Google is allowed access to all the components needed for that. If CSS or JavaScript is blocked, Google sees a bare page without formatting, without menu, sometimes without text that is loaded with scripts.

The result is that Google misjudges what your page is about. A page that looks fine to visitors can seem incomprehensible or empty to Google. This is not a matter of scoring slightly worse. It is a matter of not being included at all, while you did nothing wrong with the content itself.

There is a difference between a page that does not exist and a page that does exist but has been made inaccessible. This also touches on other points in our measurement list, such as whether a removed page properly returns a 404 status, as we discuss in the 404 page itself is helpful. In both cases, it is about clarity: show Google what is and is not intended to be found.

How to check if everything is in order for you

Type your domain name followed by /robots.txt in the address bar of your browser. A simple list of rules appears, usually with words like 'Disallow' followed by a path. Disallow means: this path may not be visited. Look for anything you do not expect, such as just a slash, which means the entire site is closed off.

Pay special attention to rules that refer to folders with names like /wp-content/, /assets/, /css/ or /js/. These are often exactly the folders where your site's formatting and interaction are stored. If those are blocked, there is a good chance that Google cannot properly render your pages, even if the rest of the file seems harmless.

Google Search Console, a free service from Google for website owners, has a test with which you can check a specific page for rendering problems. You can see there an example of how Google perceives your page. If it looks bare or broken while the page looks fine in your browser, that is a clear signal that something is going wrong when loading CSS, JavaScript or images.

หากคุณสงสัยว่าเส้นทางใดเส้นทางหนึ่งถูกยกเว้นโดยเจตนาหรือโดยไม่ได้ตั้งใจ โปรดปรึกษาผู้ที่สร้างเว็บไซต์ของคุณ บางการบล็อกเกิดขึ้นโดยเจตนาและสมเหตุสมผล เช่นการปิดผลการค้นหาภายในต่างหาก ซึ่งเราจะอธิบายแยกต่างหากเมื่อพูดถึงหน้าผลการค้นหาภายในบน noindex การบล็อกอื่นๆ เป็นเพียงข้อผิดพลาดจากการตั้งค่าเริ่มต้นที่ไม่เคยได้รับการตรวจสอบ

ต้นทุนหากเรื่องนี้ไม่เป็นไปตามลำดับ

หาก robots.txt บล็อกเส้นทางที่สำคัญ คุณจะปิดส่วนของเว็บไซต์ของคุณต่อ Google โดยไม่ตระหนัก ซึ่งอาจเป็นหน้าสินค้า บทความบล็อก หรือแม้กระทั่งเว็บไซต์ทั้งหมดหลังจากการย้ายไปยังระบบใหม่ สิ่งนี้เกิดขึ้นบ่อยกว่าที่ผู้คนคิด โดยเฉพาะอย่างยิ่งหลังจากการรีเฟรชเว็บไซต์ ซึ่งการตั้งค่าที่มีไว้สำหรับสภาพแวดล้อมทดสอบจะค้างไว้ในเว็บไซต์จริงโดยไม่ตั้งใจ

สิ่งที่น่ากลัวก็คือคุณจะไม่สังเกตเห็นสิ่งนี้ในการใช้งานเว็บไซต์ประจำวันของคุณ หน้าจะโหลดได้ปกติ ผู้เยี่ยมชมที่ได้รับลิงก์โดยตรงสามารถเข้าถึงได้ แต่เพียงการจราจรจากเครื่องมือค้นหาจะลดลงเรื่อยๆ โดยไม่มีเหตุผลที่ชัดเจน ผู้ประกอบการจำนวนมากจึงค้นหาสาเหตุในเนื้อหาหรือการแข่งขัน ขณะที่ปัญหาอยู่ในไฟล์เทคนิคที่พวกเขาไม่เคยเปิดมาก่อน

เมื่อมีเพียง CSS และ JavaScript ถูกบล็อกเท่านั้น ผลกระทบจะละเอียดกว่า แต่ไม่ทำให้เสียหายน้อยลง หน้าของคุณยังคงสามารถค้นพบได้ แต่ Google จะประเมินโดยยึดตามภาพที่ไม่สมบูรณ์ ข้อความที่โหลดผ่านสคริปต์อาจไม่นับในการนี้ หน้าที่ดูดีสำหรับคุณอาจถูก Google ประเมินว่าเป็นหน้าที่มีเนื้อหาน้อย พร้อมกับผลกระทบต่อตำแหน่งของคุณในผลการค้นหา

การแก้ไขมักไม่ใช่เรื่องของการทำงานหลายเดือน บ่อยครั้ง มันเป็นเพียงการปรับเปลี่ยนบรรทัดไม่กี่บรรทัดในไฟล์ ประเด็นก็คือคุณต้องระบุปัญหาก่อน โดยไม่มีการตรวจสอบ การบล็อกอาจยังคงไม่ถูกสังเกตเห็นเป็นเวลาหลายปี เพียงเพราะว่าไม่มีใครดูหลังจากการปรับปรุงเว็บไซต์ครั้งสุดท้าย

สิ่งที่ต้องทำเพื่อให้เรื่องนี้เป็นไปตามลำดับ

หลักการพื้นฐานนั้นเรียบง่าย: robots.txt ควรบล็อกเฉพาะเส้นทางที่คุณต้องการยกเว้นโดยเจตนา เช่นหน้าเข้าสู่ระบบสำหรับผู้ดูแลหรือรถเข็นที่ไม่ควรปรากฏในผลการค้นหา สิ่งใดก็ตามที่มีส่วนช่วยในลักษณะหรือการทำงานของหน้าจะต้องยังคงเข้าถึงได้ นั่นคือหลักการทั้งหมดเบื้องหลังจุดควบคุมนี้: อย่ากีดขวางให้เต็มไปด้วยความระวัง แต่ให้ปิดด้วยสติเมื่อจำเป็น

ให้ตรวจสอบไฟล์นี้เป็นส่วนหนึ่งของภาพรวมที่กว้างขึ้นของสิ่งที่ควรและไม่ควรจัดทำดัชนี ภาพรวมนี้ เมทริกซ์การจัดทำดัชนีตามประเภทหน้า จะแสดงว่าหน้าใดควรมองเห็นได้สำหรับ Google และหน้าใดจะไม่มองเห็นโดยเจตนา ตามที่เราอธิบายเมื่อพูดถึงเมทริกซ์การจัดทำดัชนีตามประเภทหน้า robots.txt จะเป็นเครื่องมือที่ใช้ดำเนินการตัวเลือกเหล่านั้น ไม่ใช่สถานที่ที่จะคิดตัวเลือกเหล่านั้น

ตรวจสอบไฟล์นี้ไม่เพียงแต่เมื่อสร้างเว็บไซต์เท่านั้น แต่ยังตรวจสอบหลังจากการเปลี่ยนแปลงครั้งใหญ่ด้วย: การย้ายไปยังระบบอื่น ตัวสร้างเว็บไซต์ใหม่ หรือการปรับโครงสร้างเว็บไซต์ใหม่ นี่คือช่วงเวลาที่การตั้งค่าจะถูกนำมาจากสภาพแวดล้อมทดสอบโดยไม่ตั้งใจ การตรวจสอบสั้นๆ หลังจากนั้นจะป้องกันไม่ให้การตั้งค่าชั่วคราวกลายเป็นแบบถาวร

อย่าลืมว่า robots.txt ไม่ยืนอยู่คนเดียว มันเชื่อมโยงอย่างใกล้ชิดกับสัญญาณอื่นๆ ที่คุณให้แก่ Google เช่นคำสั่งในระดับหน้าผ่านแท็ก noindex ซึ่งจะกล่าวถึงเพิ่มเติมเมื่อ noindex ผ่านแท็ก meta robots หรือ X-Robots-Tag ทั้งสองต้องไม่ขัดแย้งกัน หน้าที่คุณต้องการแสดงไม่ควรเปิดผ่านช่องทางหนึ่งและถูกบล็อกผ่านช่องทางอื่นไปพร้อมๆ กัน