谷歌真的能查看你的网站吗？

那文件到底是什么？

每个网站都有或应该有一个名为 robots.txt 的文件。你可以通过在域名后键入 /robots.txt 来找到它，例如 yourcompany.nl/robots.txt。此文件是 Google 在查看您的网站之前首先读取的内容。它以纯文本形式存在，告诉搜索引擎他们可以访问和不能访问网站的哪些部分。

你可以把它比作建筑物入口处的标志。有些门是开着的，有些则用简单的纸条关上了。问题是公司有时会不小心写错纸条。他们没有关闭一扇后门，而是对游客关闭整座建筑，包括最重要的区域。

除了可能被访问或可能不被访问的路径外，它还涉及一些更微妙的东西：构建页面的文件。想想提供布局的 CSS 和确保页面移动和交互的 JavaScript。如果 robots.txt 屏蔽了这些文件，谷歌可以访问该页面，但无法正常查看。然后，它会看到你的网站的一个裸露的、损坏的版本。

这与另一个控制点密切相关：您的核心内容是否也可以在没有 JavaScript 的情况下访问，正如我们解释的那样，何时无需使用 JavaScript 即可访问核心内容。这两点都是关于同一个问题：谷歌能否像访客看到的那样看待你的页面，还是谷歌得到的照片不完整，得分很差。

为什么这不仅仅是一个技术细节

谷歌使用一种叫做渲染的过程：实际上，搜索引擎会像浏览器一样构建你的页面，以查看访问者真正看到的内容。只有当谷歌能够访问所有必要的组件时，这才有可能。当 CSS 或 JavaScript 被屏蔽时，谷歌会看到一个没有布局、没有菜单、有时没有脚本文本的空白页面。

因此，谷歌错误地判断了你的页面的内容。对于访客而言，一个看起来不错的页面对谷歌来说可能显得难以理解或空白。这不是得分差一点的问题。尽管你没有对内容本身做错任何事情，但这是不被收录的问题。

不存在的页面和确实存在但无法访问的页面是有区别的。这还涉及到我们测量列表中的其他要点，例如删除的页面是否正确返回 404 状态，正如我们与 404 页面本身讨论的那样，这会很有帮助。在这两种情况下，都注重清晰度：向谷歌展示哪些是可以找到的，哪些不应该被发现。

如何检查你是否还好

在浏览器的地址栏中键入您的域名，然后键入 /robots.txt。将显示一个简单的规则列表，通常带有 “Disallow” 之类的字样，后面是路径。不允许意味着：无法访问此路径。看看是否有任何你意想不到的东西，比如仅使用斜线，这意味着整个网站都已关闭。

特别注意引用名称为 /wp-content/、/assets/、/css/ 或 /js/ 等名称的目录的规则。这些通常正是包含网站布局和交互内容的文件夹。如果它们被屏蔽，即使文件的其余部分看起来无害，谷歌也很可能无法正确呈现您的页面。

谷歌搜索控制台是谷歌为网站所有者提供的免费服务，它进行了一项测试，可以让你检查特定页面是否存在渲染问题。以下是谷歌如何看待你的页面的示例。如果在浏览器中的页面看起来还不错，但它看起来光秃秃或损坏，这显然表明在加载 CSS、JavaScript 或图像时出现了问题。

如果您怀疑某条路径是被故意排除还是意外排除,请咨询构建您网站的人员。某些屏蔽是有意且明智的,例如关闭内部搜索结果,这是我们在内部搜索结果页面上针对 noindex 单独讨论的内容。其他屏蔽则只是来自从未检查过的默认设置的简单错误。

如果这不正确会花费什么

如果 robots.txt 屏蔽重要路径,您会在不知情的情况下关闭部分网站,使 Google 无法访问。这可能是产品页面、博客文章,甚至在迁移到新系统后的整个网站。这发生的频率比人们想象的要高,特别是在网站更新后,一个原本用于测试环境的设置意外地保留在真实网站上。

狡猾的是您在日常使用网站时不会注意到任何问题。页面正常加载,直接获得链接的访客仍然可以访问。只有来自搜索引擎的流量会缓慢减少,没有明显原因。许多企业家随后在内容或竞争中寻找原因,而问题却存在于他们从未打开过的技术文件中。

当仅屏蔽 CSS 和 JavaScript 时,效果更微妙,但同样具有破坏性。您的页面仍然可以被找到,但 Google 会根据不完整的图像对其进行评估。通过脚本加载的文本可能不会计入。对您来说看起来不错的页面,Google 会将其评估为内容匮乏,对您在搜索结果中的排名产生所有后果。

修复通常不是几个月工作的问题。通常只需在文件中调整几行。关键是您必须首先识别问题。不加检查,屏蔽有时会多年未被发现,仅仅因为在上次调整网站后没有人再查看过。

要解决这个问题需要做什么

基本原则很简单:robots.txt 应仅屏蔽您故意要排除的路径,例如管理员登录页面或不应出现在搜索结果中的购物车。任何有助于页面外观或工作方式的内容都必须保持可访问。这正是此检查点背后的整个原则:不要出于谨慎而完全关闭,而是在必要时有针对性地关闭。

让此文件作为更广泛审查的一部分进行检查,以了解应索引什么以及不应索引什么。该审查(每个页面类型的索引矩阵)会制定哪些页面应对 Google 可见,哪些应有意不可见,正如我们在每个页面类型的索引矩阵中解释的那样。Robots.txt 则是执行这些选择的工具,而不是考虑这些选择的地方。

不仅在构建网站时检查此文件,还要在每次重大更改后检查:迁移到另一个系统、新的网站构建器或网站重组。这些正是设置意外从测试环境中被转移的时刻。事后进行简短检查可以防止临时设置变成永久设置。

还要记住 robots.txt 不是独立存在的。它与您向 Google 提供的其他信号密切相关,例如通过 noindex 标签进行的页面级指令,有关更多信息,请参阅通过 meta robots 或 X-Robots-Tag 的 noindex。两者不应相互矛盾。您想显示的页面不应通过一个渠道打开,又通过另一个渠道被屏蔽。