AI 爬虫与内容保护:robots、付费墙与技术边界
GPTBot、ClaudeBot、Bytespider 等抓取者的行为差异,以及在「被引用」与「被白嫖」之间怎么选。
2024 年之后,站点流量结构发生了明显变化:搜索点击下降,AI 回答里的引用上升。内容生产者面临一个选择——让 AI 抓,还是挡。
先认清谁在抓
| UA 标识 | 来源 | 用途 |
|---|---|---|
GPTBot | OpenAI | 训练与检索 |
OAI-SearchBot | OpenAI | 搜索索引(带来引用) |
ClaudeBot | Anthropic | 训练 |
PerplexityBot | Perplexity | 检索与引用 |
Bytespider | 字节 | 训练与产品 |
Google-Extended | Gemini 训练(不影响搜索排名) |
关键区别:训练型抓取不带来流量,检索型抓取可能带来引用与点击。一刀切全挡,等于放弃 AI 搜索这个新入口。
robots.txt 的分组写法
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Allow: /
Disallow: /search/
robots.txt 是君子协定,不遵守的爬虫照样抓。真正的技术防护要在服务端做 UA 判断或限速,但会误伤,需谨慎。
三种策略
1. 全开放适合:靠广告变现、需要曝光的内容站。被 AI 引用能带来品牌认知。
2. 训练禁用、检索开放适合:大多数内容站。既保留 AI 搜索入口,又不让内容被无偿用于训练。
3. 全封闭 + 付费适合:深度研报、专业数据库。技术上用登录态、动态渲染、API 计费。
技术防护的边界
- UA 判断:容易伪造,只能挡低级爬虫
- IP 段封禁:云厂商 IP 段会变,维护成本高
- 频率限制:对分布式爬虫无效
- 动态渲染 + 签名:成本高,影响正常用户与 SEO
- 付费墙:最有效,但需要账号体系与支付
更现实的思路
与其防抓,不如让内容「值得被引用」并且「引用时带上来源」。做法:
- 每个页面有清晰的标题、作者、发布日期
- 关键结论用短句、列表、表格表达,便于摘录
- 加
Article结构化数据,明确作者与机构 - 在正文里给出可验证的数据来源
AI 回答通常会给出来源链接。被引用一次,带来的信任高于十条普通搜索点击。
监控 AI 爬虫
grep -iE "gptbot|claudebot|perplexitybot|bytespider|oai-searchbot" access.log \
| awk '{print $1}' | sort | uniq -c | sort -rn | head
如果某个爬虫每天抓几千次却从不带来访问,可以考虑在 robots 里单独限制它的抓取频率(Crawl-delay 支持度有限,主要靠服务端限速)。
相关:GEO:让 AI 搜索愿意引用你。