动力启航logo
公告以ASP.NET(C#)2.0+jQuery技术为中心,面向软件开发者、程序爱好者、网页设计师,专门结合AJAX技术打造友好界面
安全 栏目 · 实战手册

AI 爬虫与内容保护:robots、付费墙与技术边界

GPTBot、ClaudeBot、Bytespider 等抓取者的行为差异,以及在「被引用」与「被白嫖」之间怎么选。

2024 年之后,站点流量结构发生了明显变化:搜索点击下降,AI 回答里的引用上升。内容生产者面临一个选择——让 AI 抓,还是挡。

先认清谁在抓

UA 标识来源用途
GPTBotOpenAI训练与检索
OAI-SearchBotOpenAI搜索索引(带来引用)
ClaudeBotAnthropic训练
PerplexityBotPerplexity检索与引用
Bytespider字节训练与产品
Google-ExtendedGoogleGemini 训练(不影响搜索排名)

关键区别:训练型抓取不带来流量,检索型抓取可能带来引用与点击。一刀切全挡,等于放弃 AI 搜索这个新入口。

robots.txt 的分组写法

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /
Disallow: /search/
robots.txt 是君子协定,不遵守的爬虫照样抓。真正的技术防护要在服务端做 UA 判断或限速,但会误伤,需谨慎。

三种策略

1. 全开放适合:靠广告变现、需要曝光的内容站。被 AI 引用能带来品牌认知。

2. 训练禁用、检索开放适合:大多数内容站。既保留 AI 搜索入口,又不让内容被无偿用于训练。

3. 全封闭 + 付费适合:深度研报、专业数据库。技术上用登录态、动态渲染、API 计费。

技术防护的边界

  • UA 判断:容易伪造,只能挡低级爬虫
  • IP 段封禁:云厂商 IP 段会变,维护成本高
  • 频率限制:对分布式爬虫无效
  • 动态渲染 + 签名:成本高,影响正常用户与 SEO
  • 付费墙:最有效,但需要账号体系与支付

更现实的思路

与其防抓,不如让内容「值得被引用」并且「引用时带上来源」。做法:

  • 每个页面有清晰的标题、作者、发布日期
  • 关键结论用短句、列表、表格表达,便于摘录
  • 加 Article 结构化数据,明确作者与机构
  • 在正文里给出可验证的数据来源

AI 回答通常会给出来源链接。被引用一次,带来的信任高于十条普通搜索点击。

监控 AI 爬虫

grep -iE "gptbot|claudebot|perplexitybot|bytespider|oai-searchbot" access.log \
  | awk '{print $1}' | sort | uniq -c | sort -rn | head

如果某个爬虫每天抓几千次却从不带来访问,可以考虑在 robots 里单独限制它的抓取频率(Crawl-delay 支持度有限,主要靠服务端限速)。

相关:GEO:让 AI 搜索愿意引用你。

主题标签
AI 爬虫robots内容策略