Hostinger CDN 搜索引擎爬虫与 SEO 优化指南
Hostinger CDN 允许已验证的搜索引擎爬虫（如 Googlebot 和 Bingbot）在无需浏览器验证的情况下访问你的网站。如果 Google Search Console 报告“robots.txt 无法访问”或出现 403、429 状态码的抓取错误，请检查四项设置：Under Attack 模式、国家与 IP 屏蔽规则、被屏蔽的机器人，以及抓取速率。
Hostinger CDN 如何识别搜索引擎爬虫
Hostinger CDN 使用搜索引擎官方发布的 IP 地址列表和反向 DNS（域名系统）检查来验证爬虫。在正常设置下，已验证的爬虫不会看到浏览器验证页面，因此启用 Hostinger CDN 不会损害索引或 SEO（搜索引擎优化）。
仅伪装成 Googlebot 或 Bingbot 的请求无法通过此验证。屏蔽虚假爬虫可以保护你的网站免遭抓取器侵害，且不会影响搜索排名。
搜索引擎爬虫为何会被 Hostinger CDN 屏蔽
搜索引擎爬虫通过 Hostinger CDN 收到错误通常有四个原因：Under Attack 模式、国家屏蔽、机器人屏蔽规则，以及抓取速率限制。
Under Attack 模式会向所有访问者（包括爬虫）发起质询
Under Attack 模式会让 Hostinger CDN 向每位访问者显示浏览器验证页面进行质询。搜索引擎爬虫无法执行验证，因此在该模式启用期间会收到错误。请仅在遭受攻击时启用 Under Attack 模式：
- 进入 Hostinger 控制面板 → Websites → Dashboard → Performance → CDN。
- 点击 Manage 并打开 Security 标签页。
- 攻击停止后，将安全级别改为 Medium 或 Low。
国家屏蔽可能会屏蔽爬虫
Googlebot 主要从位于美国的 IP 地址进行抓取，因此在 Traffic blocking 标签页中屏蔽美国也会屏蔽 Googlebot。同样，仅允许特定国家的设置如果未包含爬虫所在的国家，也会造成屏蔽。搜索引擎会公布其爬虫使用的 IP 段，因此请将你的国家屏蔽规则与已公布的爬虫位置进行比对，然后删除或调整覆盖这些位置的规则。
机器人屏蔽规则
在 CDN 设置中被明确屏蔽的机器人会收到 403 响应，即使它们已通过验证。请检查被屏蔽机器人的配置，并解除对你希望索引该网站的搜索引擎爬虫的屏蔽。
突发抓取可能触发速率限制
对未缓存页面（如大型 XML 站点地图）的突发密集请求可能达到保护网站的速率限制，并返回 429 状态码。在更改任何爬虫设置之前，请先确认 429 响应是否经由 Hostinger CDN：运行实时 URL 测试并检查响应标头中的 `x-hcdn-request-id` ——如果该标头缺失，则响应来自其他层面，例如网站本身。突发高峰期间偶尔出现 429 响应属于正常现象，爬虫会自动重试。
如果 Bing 报告持续的 429 错误，请在 Bing Webmaster Tools 中的 Configure My Site → Crawl Control 下降低抓取速率。Googlebot 会自动调整其抓取速率。
如何验证爬虫对网站的访问
每次更改设置后，请测试爬虫访问情况：
- 在 Google Search Console 中，打开 URL Inspection，输入受影响的页面，然后选择 Test live URL。
- 在 Google Search Console 中，查看 Settings → Crawl stats 以了解响应分布情况。
- 在 Bing Webmaster Tools 中，使用 URL Inspection 运行实时测试。
实时测试成功即表示爬虫可以通过 Hostinger CDN 正常访问网站。
何时就爬虫屏蔽问题联系 Hostinger 支持
如果已验证的爬虫在禁用 Under Attack 模式并复核屏蔽规则后仍收到 403 或 429 错误，且实时 URL 测试持续失败，请联系 Hostinger 支持。联系时请提供：域名、确切的 URL 和状态码、Search Console 或 Bing Webmaster Tools 错误的截图、抓取失败的大致时间，以及响应标头可用时的 `x-hcdn-request-id` 值。爬虫速率限制无法在 Hostinger 控制面板中更改，因此持续出现的问题需要 Hostinger 方面介入排查。
注意事项
- 显示给可疑访问者的浏览器验证页面不适用于已验证的搜索引擎爬虫，因此普通访问者被质询不会影响抓取。
- 只要将 Under Attack 模式保留给真实攻击使用，并让屏蔽规则避开爬虫所在位置，搜索引擎就可以通过 Hostinger CDN 不间断地抓取和索引你的网站。