ClaudeBot：它是什么以及您是否应该允许它

ClaudeBot 究竟是什么

ClaudeBot 是 Anthropic 公司的一个自动化程序。它访问网站、阅读文本，并将该文本用于两个目的：训练语言模型 Claude，以及回答用户当前向 Claude 提出的问题。因此，它不是查看您网站的人，而是大规模获取页面的软件。

Claude 是 Anthropic 的 AI 助手，与 ChatGPT 相似，但背后是不同的公司，工作方式也不同。当有人向 Claude 询问您的行业、您所在地区或您的业务类型的相关内容时，Claude 可能会决定搜索互联网以获取最新信息。如果发生这种情况，您的网站出现在这些搜索结果中，那么是 ClaudeBot 之前或在此时刻读取了您的页面。

与其他 AI 机器人的区别在于其行为。Claude 使用网络搜索，这意味着在对话期间，他可以主动查阅网络，而不是仅依赖于他在训练期间学到的内容。同时，Claude 在引用方面较为谨慎：他经常不会提及信息来源，即使他确实使用过这些来源。

ClaudeBot 与类似机器人有什么区别

Anthropic 不是唯一拥有这样的机器人的公司。OpenAI 有一个类似的机器人，我们在 GPTBot 中讨论过：它是什么以及您是否应该允许它。这两种技术相似：都读取网页并将文本用于 AI 助手。区别主要在于读取后发生的事情，在这方面 ClaudeBot 是一个特殊的类别。

虽然某些助手在给出答案时经常显示引用或链接，但 Claude 这样做的频率较低。因此，您不能简单地假设，只要他使用了您的信息，他就会提及来源。这使得更难以验证您的文本是否真的对用户看到的答案产生了影响。

这与许多企业家也对 ChatGPT 提出的问题有关，即他们的网站是否真的被阅读过，如在 ChatGPT 阅读您的网站吗以及您如何了解这一点中所详述的那样。对于 Claude，这个问题更难回答，正是因为引用不是一个既定的习惯。您很少能明确看到您的网站是信息来源。

您应该给予 ClaudeBot 访问您网站的权限吗

没有普遍的好答案，对于声称有答案的任何人要保持警惕。授予访问权限意味着当 Claude 回答有关您的行业或您的服务类型的问题时，您的文本可能会被纳入考虑。如果潜在客户使用 Claude 来比较供应商（这种情况越来越常见，与使用 Google 相平行），这可能是有利的。

拒绝访问也可能是有效的选择。一些企业不希望他们的文本、价格或产品描述被用来训练 AI 模型，而没有任何回报。这是一个原则性的考量，不是技术性的。如果您决定不希望这样，这没有任何问题。

存在一条实际的中间道路：您可以允许机器人回答当前的问题，但不允许其长期训练模型。Anthropic 为此提供了在告诉机器人什么是允许和不允许的文件中的独立规则，即您网站上所谓的 robots.txt 文件。对于大多数中小企业企业家来说，这是技术管理员一次性设置的设置。

如果您不想自己弄清楚哪个选择最合适，首先查看现在已经发生的事情。不知道这一点，任何决定都是猜测。

网络搜索对您的可见性意味着什么

Claude 使用网络搜索这一事实意味着他不仅依赖于训练中过时的知识，而是可以在对话过程中主动搜索。这与您相关，因为它重新突显了您的网站易读性和时效性的重要性。一个六个月未更新的页面会给出不同的印象，而一个显示最新信息的页面则会给出另一种印象。

这与仅从训练数据获取信息的助手不同。在网络搜索中，Claude 是否曾在训练中了解过您不那么重要，重要的是他在提问的那一刻是否能找到有关您的有用信息。这是一个类似的原则，如我们在讨论 ChatGPT 多久更新一次关于您公司的信息时所讨论的那样，尽管每个助手的运作方式都不同。

对您来说，这主要意味着基础工作必须到位：清晰的文本、没有隐藏在复杂技术结构后面的信息，以及一个不会阻止应该能够正常阅读的内容的网站。很少需要进行大的技术改动；一个易读、最新的网站是最重要的一步。

为什么谨慎引用可能是一个问题

如果 Claude 使用了您的信息但没有说明来源，用户就看不到您的公司名称。这对于更频繁显示来源的助手来说是一个真实的劣势。您可能会感到您的努力被隐没了，即使它们确实对所说的内容产生了影响。

这使测量变得困难。对于经常引用的助手，您可以通过一些搜索工作来确定您的公司是否被提及，如我们在讨论如何衡量 ChatGPT 是否提及您的公司时所讨论的那样。对于 Claude，您经常需要自己提出测试问题，并仔细观察您的名称、您的服务或您的具体方法是否在答案中出现，即使没有明确的来源引用。

尽管如此，来源引用中的不可见性与答案中的不可见性不同。Claude 可能确实在使用您的信息，只是他将其呈现为一般知识而非引用。这对于您来说看起来不那么令人满意，但它对阅读答案的用户的影响仍然可能存在。

您可以具体做什么

首先检查 ClaudeBot 目前是否能够访问您的网站。这应该在 robots.txt 文件中注明。如果没有提及 Claude，那么该机器人可能是受欢迎的，因为默认设置通常是可访问的。如果您想改变这一点，那是一个小的技术调整。

然后自己向 Claude 提出有关您的行业、您的服务或您所在地区的一些测试问题。不仅要查看您的公司是否被提及，还要查看信息是否准确。关于您自己的错误或过时的信息通常比根本没有被提及更大的问题，这对其他助手也同样适用，如阅读 ChatGPT 为什么提及您的竞争对手而不是您时所解释的那样。

不要期望小调整会产生奇迹。对于 Claude，不存在保证有效的技巧，对于承诺这些技巧的提供商要保持警惕。真正有帮助的是：清晰的文本、最新的信息和一个在技术上没有障碍的网站。这是相同的基础，同样有助于其他人工智能助手和普通搜索引擎。