为了解决这个问题，我们需要再次返回 GSC robots.txt 报告工具，每当我们想再次读取 robots.txt 时，我们都可以询问它。通过这样做，我们将迫使您阅读它并注意到它已经发生了变化。因此，一个值得遵循的良好 SEO 协议是在网站“是”或“是”。您可以观看 有关 robots.txt 和 Googlebot 失明的 YouTube 视频， 了解更多详细信息。
案例 4. 当 Google 请求 robots.txt 时服务器崩溃
这是我们无法控制的，但它可能会破坏我们的索引策略。当 Googlebot 请求 robots.txt 并且服务器崩溃时会发生什么？嗯，没什么好说的。
当它给出代码 200 时：始终遵循 robots.txt 的内容
当它给出 30x 代码时：目标 URL 被访问并解释为 手机数据 就好像它是它自己的一样。这可能是好是坏，取决于内容是否合适。
当它给出 40x 代码时：
它被解释为 robots.txt 为空，Google 可以在任何需要的地方输入。这是一个危险的错误，因为如果发生这种情况，您在 robots.txt 中禁止的所有内容都将失效，并且 Google 将开始输入您的所有网址。
当它给出代码 429、500 或 503 时：
Googlebot 知道它可能会向您已经饱和的网 a 已提交网站 站添加更多负载，并停止抓取以对您的服务器造成更多损害。从那时起，您将看到Googlebot仅访问robots.txt，而不会访问您的其他网址，直到它停止报错为止。因此，给出这些错误可以让你停止谷歌，但这是有限的时间；在那之后（24 小时或您认为合适的任何时间），继续跟踪，就好像它是 404（自由通行，我们说这是可能发生的最危险的事情）。
有关如何解释这些状态的 Google 文档。
正如您所看到的
让您的服务器给出有关 robots.txt 的不受控制的错误是非常危险的。这就是为什么定期检查 Google Search Console 的抓取统计信息或服务器日志 捷克数字数据 是个好主意。特别是如果您在 URL 中看到 Google 不应输入的条目，因为您很可能会在这里找到正在发生的情况的解释。
