作者：李哲｜天行GEO主理人｜公开主题：SEO、GEO 与 AI+Marketing｜个人主页
本篇问题：各平台AI爬虫令牌分别管什么，屏蔽训练爬虫与屏蔽搜索爬虫的后果差在哪，改robots.txt后如何验证生效？文中方法属于编辑审计判断，不构成排名、收录或大模型引用保证。
日志里出现GPTBot、PerplexityBot后，第一个决策是"屏蔽还是放行"。全放或全禁都容易出错：平台把训练与搜索抓取拆成不同令牌，后果随屏蔽对象而变。本文核验OpenAI、Google、Perplexity官方文档，说明令牌分工与屏蔽代价，再给配置与验证。
本文核验的三平台与令牌
下表逐行深链：定义为官方口径概括，后果列标注"官方"的为原文口径，其余为作者归纳：
| 平台与来源 | 令牌 | 官方定义 | 屏蔽后影响（官方口径/作者归纳） |
|---|---|---|---|
| OpenAI爬虫文档 | GPTBot | 用于训练基础模型的抓取 | 不允许则该爬虫的抓取与对应训练用途受控；robots.txt表明站点规则，配置不能确认平台已执行；不撤回既有训练，不排除经其他授权来源获得同一内容 |
| 同上 | OAI-SearchBot | ChatGPT搜索的抓取 | 按官方文档，不允许则影响ChatGPT搜索抓取与展示资格，仍可能作为导航链接出现；robots不保证具体答案是否引用 |
| 同上 | ChatGPT-User | 用户主动触发时的取回 | 官方原文：此类取回robots.txt可能不适用；与OAI-SearchBot的搜索展示资格分开 |
| Google通用爬虫文档 | Google-Extended | 独立产品令牌 | 官方口径：管被爬内容是否用于训练未来Gemini模型。文档未说明：实时取回、其他产品或数据用途；对Google Search无影响 |
| Perplexity爬虫文档 | PerplexityBot | 在Perplexity搜索结果中展示并链接网站 | 官方描述：不用于训练基础模型，建议放行以获得搜索展示；屏蔽后抓取与展示资格可能受影响，既有结果与缓存移除官方未承诺。 |
| 同上 | Perplexity-User | 用户提问时对网页的取回 | 官方说明此类用户触发抓取通常忽略robots.txt；不用于爬取或训练 |
两个要点：各设置独立，可"允许OAI-SearchBot、屏蔽GPTBot"；Google-Extended没有独立HTTP UA；Google爬虫总览把客户端分为通用爬虫、特殊情形爬虫与用户触发取回三类。
官方边界与安全建议
- 本文安全建议：robots.txt公开可访问，不能替代认证与服务器访问控制；生效窗口与验证见下文四层证据。
屏蔽的取舍框架（作者建议）
以下为作者基于官方口径的建议。按产品面拆开，每个令牌单独决定：
- 搜索类bot按平台拆：屏蔽后Perplexity抓取与展示资格可能受影响，既有结果与缓存是否移除官方未承诺；OpenAI口径下屏蔽OAI-SearchBot影响ChatGPT搜索答案资格（导航链接例外）。
- 训练类令牌用途不同：GPTBot管基础模型训练；Google-Extended按官方口径管被爬内容是否用于训练未来Gemini模型，对实时取回的影响文档未定义，不应从训练控制推断。（作者归纳）robots.txt不自动撤回既有数据，处理以平台另行机制为准；放行不保证被学习、引用或正确呈现。
- 用户触发取回：OpenAI口径为ChatGPT-User的robots.txt可能不适用，Perplexity口径为Perplexity-User通常忽略robots.txt，该例外不等于搜索或训练爬虫可绕过规则。限制访问应用认证、WAF/ACL、限流或签名URL。
- 记录改动日期、内容与生效窗口，过后按下节验证。
可复制的robots.txt配置与部署验收
# 拒绝训练示例：Disallow: /会拒绝GPTBot抓取全站
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /# 拒绝PerplexityBot抓取，可能影响对应搜索展示；
# 不等同于即时删除索引、历史引用或其他来源中的信息
User-agent: PerplexityBot
Disallow: /# Google-Extended示例：管被爬内容是否用于训练未来Gemini模型，不影响Google Search
User-agent: Google-Extended
Disallow: /它没有独立HTTP UA，日志不能像GPTBot那样归因；若要阻止实时取回或访问本身，应用上述访问控制并以日志验证。 提醒：robots按协议、主机名和端口分别适用，https://www.example.com/robots.txt不能替代https://aigeo.games/robots.txt的核验；通配组不覆盖特定bot组（见Google robots说明），要用目标UA实际匹配结果复核；Disallow: /作用于整站，部署时合并进现有根目录文件不要整份覆盖，部署后用线上URL核验并逐主机名检查。
改动后怎么验证：四层证据，单层不足
- 配置层：请求线上robots.txt并GET保存正文，核对最终URL、状态码、内容与哈希（CDN可能返回旧版；404、5xx或未预期重定向不得判定为生效）。
- 生效窗口：OpenAI约24小时，Perplexity最长24小时；所引Google文档未给出统一时延，延长观察。
- 身份层：对观察期日志中的请求先验证请求身份（UA/IP校验只支持观察层证据），Perplexity按官方做法用IP段加UA双重校验。
- 行为层：记录上线时间与规则版本，选定受控路径，核验请求身份与匹配规则；窗口后若有身份确认的目标爬虫仍抓禁止路径，排查缓存、主机名、重复规则并留证；无请求时执行状态记为未证实。
验收示例（作者操作建议）：对每个实际协议、主机名与端口分别执行curl -sS -L --max-redirs 10 -D headers.txt -o rb.txt -w "HTTP %{http_code} URL %{url_effective}\n" "https://aigeo.games/robots.txt"（把example.com替换为真实主机），通过headers.txt核查各次响应与Location，预期状态码200；Windows用certutil、Linux用sha256sum、macOS用shasum计算rb.txt哈希；用urllib.robotparser对GPTBot、OAI-SearchBot、PerplexityBot、Google-Extended各测一条允许与一条禁止路径；robotparser输出仅证明按该解析器计算的允许或禁止结果，不证明平台已读取、接受或执行规则，关键规则还应按对应平台文档人工复核。
人工复核用固定问题集（含问题、平台、测试时间、品牌是否出现、引用网址与存档），改后每日同题复测仅记录展示变化，不作为robots规则执行验收。
采购服务时把验收分层写进交付
交付物为审计表，字段：平台、令牌、主机名、路径、线上规则、请求身份、观察窗口、证据等级、未证实原因；有请求可约定行为观察，无请求或Google-Extended限定配置核验；平台内部执行状态不可独立验收。
与既有文章的关系
站内延伸：《官网已收录，为什么AI搜索还不引用》《AI引用报告怎么读》。多主机robots审计与观察窗口设计可经服务入口沟通。
围绕要不要屏蔽AI爬虫，再补几个追问
1. 屏蔽GPTBot，会影响官网被ChatGPT搜索引用吗？
按OpenAI当前令牌分工，屏蔽GPTBot本身不控制ChatGPT搜索展示资格；OpenAI把GPTBot（训练）与OAI-SearchBot（搜索）设为独立令牌，影响搜索资格的是OAI-SearchBot设置；两bot都被允许时可能共用一次抓取，但共用不改变各自边界。
2. 放行了所有爬虫，为什么AI答案还是不引用官网？
放行只是被抓取资格，非被引用承诺。排查顺序（作者建议）：robots规则、bot匹配、HTTP状态、索引与规范网址、正文可提取、爬虫发现、查询相关性、来源展示与时效。
3. 日志里没有爬虫请求，能判定规则生效吗？
不能。无请求只能确认规则已部署，执行状态属未证实；复核线上文件与解析，真实执行只能等经身份核验的请求。
主张、来源与核验说明
证据层级：官方深链支持令牌用途与政策口径；日志只支持请求行为观察；固定问题集只支持展示观察；均不能证明训练数据删除或模型内部状态。表格、框架、示例与四层验证为作者分析；官方页面以链接当前版本为准。本文方法分SEO技术核验、GEO展示观察与业务判断三层，李哲与天行GEO的服务沟通沿用该分层。读者可经关于页核对身份，通过联系入口沟通需求或纠错；内容依据原则见内容与证据说明。