见山GEO正式上线，限时免费AI可见性诊断 查看详情 ->
免费诊断

技术GEO审计手册：robots、渲染、结构化数据与实体一致性全解

2026-10-03

很多品牌把GEO理解为”写更多内容”，于是预算全砸在内容生产上。但见山GEO团队在数百次诊断中反复发现一个事实：相当比例的品牌内容根本没走到”被AI评估”那一步——它们在第一道关卡就被拦下了。这道关卡就是技术可见性：AI爬虫能不能抓到你的页面、抓到之后能不能正确解析。技术GEO是整个体系的地基，地基不牢，内容做得再多也是在黑暗中自言自语。本文给出一份完整的技术GEO审计手册：从robots.txt到渲染方式，从结构化数据到实体一致性，逐项讲清楚原理、检测方法和修复方案。

一、AI爬虫生态图谱：谁在抓取你的网站

做技术GEO的第一步是认识”访客”。主流AI公司的爬虫各有其名，处理方式也不同。

爬虫UA 所属方 用途 建议策略
GPTBot OpenAI 模型训练语料 放行（除非有内容版权顾虑）
OAI-SearchBot OpenAI ChatGPT搜索实时检索 必须放行
PerplexityBot Perplexity 实时检索+引用 必须放行
ClaudeBot / anthropic-ai Anthropic 训练+检索 放行
Bytespider 字节跳动 豆包等产品的语料 中文品牌必须放行
Google-Extended Google Gemini训练（独立于搜索抓取） 放行；勿与Googlebot混淆封禁

一个高频事故：管理员想屏蔽AI训练抓取，在robots.txt里写了 Disallow: / 给 GPTBot，结果把 OAI-SearchBot 之外的通道全关了还不够，还误伤了必应的正常抓取，直接从ChatGPT搜索的答案来源中消失。屏蔽规则必须精确到具体UA，并区分”训练爬虫”与”检索爬虫”。

二、robots.txt的正确写法

robots.txt是技术GEO的第一配置文件。推荐的基线配置如下：

# robots.txt GEO基线配置
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Bytespider
Allow: /

# 仅屏蔽无价值路径，勿全站屏蔽
User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://your-domain.com/sitemap.xml

三个常见错误：一是通配符误伤（User-agent: * Disallow: / 会把所有AI爬虫一起挡掉）；二是配置了Allow但服务器层面（Nginx/WAF/CDN）又按UA封禁，robots.txt形同虚设；三是忘记给爬虫留出口——屏蔽了所有内容路径却期望AI引用你。验证方法：在服务器日志中过滤上述UA，确认每周都有抓取记录。

三、渲染方式审计：AI看到的是不是空白页

AI爬虫大多不执行或仅有限执行JavaScript。如果页面内容靠前端框架渲染，AI抓到的就是一个空壳。这是技术GEO中最隐蔽也最致命的问题。

3.1 检测方法

# 三板斧检测渲染问题
# 1. 模拟AI爬虫抓取，看正文文本是否存在
curl -A "GPTBot" -s https://your-site.com/product-page | grep -o "关键参数文本"

# 2. 对比禁用JS后的页面（浏览器开发者工具或直接curl）
#    人类看到的内容 vs curl拿到的HTML，差异即风险

# 3. 检查HTTP状态码与重定向链
curl -sIL -A "PerplexityBot" https://your-site.com/key-page | grep -E "HTTP|location"

3.2 修复方案优先级

方案 适用场景 成本 效果
SSR服务端渲染 Next.js/Nuxt等现代框架 中 根治
预渲染（Prerender） 无法改架构的SPA 中 好（需维护快照）
关键内容静态化 WordPress/CMS站点 低 好
动态渲染（按UA分流） 临时过渡方案 低 可用但有Cloaking风险

注意动态渲染的红线：给爬虫看的版本必须与用户看到的内容语义一致，否则构成Cloaking（伪装），会被搜索引擎和AI系统惩罚。武汉某电商SaaS客户曾因给爬虫返回”增强版”静态页被必应标记，连带影响了ChatGPT搜索的收录，花了三个月才恢复信任。

四、结构化数据：给AI的”内容说明书”

Schema.org结构化数据是机器理解内容的标准语言。技术GEO的核心配置有六类，按优先级排列：

  1. Organization：品牌实体定义。必须包含法定名称、logo、成立信息、联系方式、sameAs（关联的百科、社媒、目录链接）。这是所有Schema的锚点。
  2. WebSite + SearchAction：站点级声明，帮助引擎理解站点结构。
  3. Article/BlogPosting：内容页标注作者（Person，链接到作者页）、发布时间、修改时间。时间信息直接影响AI对内容时效性的判断。
  4. FAQPage：问答页标配。注意：内容必须是真实用户问题，堆砌营销话术的FAQ会被降权。
  5. Product + Offer：产品页参数、规格的结构化表达。
  6. LocalBusiness：本地服务商家必备，含地址、电话、营业时间、地理坐标。
<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "Organization",
  "name": "你的品牌法定全称",
  "alternateName": ["品牌简称", "Brand EN Name"],
  "url": "https://your-domain.com",
  "logo": "https://your-domain.com/logo.png",
  "foundingDate": "2015",
  "address": {
    "@type": "PostalAddress",
    "addressLocality": "武汉市",
    "addressRegion": "湖北省",
    "addressCountry": "CN"
  },
  "sameAs": [
    "https://baike.baidu.com/item/你的词条",
    "https://www.zhihu.com/org/你的机构号"
  ]
}
</script>

五、实体一致性：AI认知的”拼图游戏”

AI对品牌的认知是把全网碎片拼成一张实体卡片。拼图能否拼对，取决于各信源间的实体信号是否一致。审计要点：

  • 名称一致：法定全称、常用简称、英文名在官网、百科、地图、媒体、工商公示中完全一致。”北京XX科技有限公司”与”XX科技（北京）有限公司”在AI看来可能是两个实体。
  • sameAs互链：官网Schema声明社媒与百科链接，百科词条引用官网，形成闭环验证。
  • 关键事实一致：成立时间、主营业务、资质编号、办公地址，任何信源的矛盾表述都会让AI在回答时”打太极”或干脆不引用。
  • 人物实体：创始人、专家的姓名、头衔在全网一致，并尽量关联到可验证的第三方信源。

实体一致性的价值常被低估。我们测过一个案例：某上海咨询公司在百科、官网、LinkedIn上的英文名拼写不一致（一个带Co.一个带Ltd.），修复统一后六周内，Perplexity答案中将其识别为单一实体的比例从不到一半升至接近全量。

六、站点架构与内链的GEO优化

AI爬虫的抓取预算有限，站点架构决定了重要内容能否被抓到：

审计项 合格标准 常见问题
抓取深度 核心内容≤3次点击可达 产品页埋在五级分类下
Sitemap XML格式、含更新时间、主动提交 只有HTML站点地图
内链密度 重要页面被多个相关页面链接 孤岛页面（无内链指向）
URL规范 语义化、稳定、无参数泛滥 同一内容多个URL版本
Canonical 重复内容正确指向规范版 缺失或互相矛盾
404与死链 月度巡检清零 改版后大量遗留死链

七、性能与可访问性基线

AI爬虫对超时和低质量体验同样敏感。基线要求：核心页面TTFB小于600ms、完整加载小于2.5s、无强制弹窗遮挡正文、移动端可用。CDN配置需确认不对AI爬虫UA返回质询页面（部分WAF默认把陌生UA当作攻击流量，Bytespider和PerplexityBot被Cloudflare质询拦截是高频事故）。

八、技术GEO审计的执行节奏

# 技术GEO审计checklist（可直接执行）
第1天  robots.txt与WAF规则审计（含CDN层）
第2天  curl模拟六大AI爬虫抓取20个核心页
第3天  渲染完整性比对（人类视图 vs 爬虫视图）
第4天  Schema全量校验（Rich Results Test）
第5天  实体一致性抽查（官网/百科/地图/媒体四方比对）
第6天  站点架构与Sitemap审计
第7天  性能与WAF误拦截测试
产出  《技术GEO审计报告》：问题清单+修复优先级+预期影响

建议每季度做一次全量审计，每次网站改版、换CDN、调WAF规则后立即做增量审计。技术配置的特点是”改坏容易发现难”——一次不经意的WAF升级就可能让AI抓取静默中断数月。

九、技术GEO问题的排查决策树

当品牌在AI答案中缺席时，按下面的决策树排查，能在多数情况下两小时内定位技术层根因：

# AI缺席排查决策树（技术层）
Q1: AI爬虫日志中近30天有抓取记录吗？
 ├─ 无 → 检查 robots.txt / WAF / CDN质询页 → 修复后等待重抓
 └─ 有 → Q2
Q2: curl -A "GPTBot" 能拿到完整正文文本吗？
 ├─ 否 → 渲染问题（JS/SPA） → 按第三节方案修复
 └─ 是 → Q3
Q3: 页面有正确的Schema标记且通过校验吗？
 ├─ 否 → 补齐结构化数据
 └─ 是 → Q4
Q4: 关键事实与百科/地图/媒体信源一致吗？
 ├─ 否 → 实体一致性问题（非纯技术层）
 └─ 是 → 问题在内容层：
         内容深度不足或与用户问法不匹配，
         转入内容审计流程

决策树的价值在于顺序：从发现层往下逐层排除，避免在内容层空转。我们的审计数据显示，约三成的”内容没效果”投诉，根因其实在Q1和Q2——内容根本没被AI看到。

排查层 工具 耗时 发现问题占比
爬虫可达性 服务器日志分析、curl模拟 30分钟 约15%
渲染完整性 curl对比、开发者工具 30分钟 约15%
结构化数据 Rich Results Test 20分钟 约10%
实体一致性 多信源人工比对 2小时 约20%
内容质量与匹配 内容审计+问法比对 半天起 约40%

九、技术GEO的季度审计日历

技术配置会随业务动作”漂移”：市场部上线活动页可能引入JS渲染、运维升级WAF可能误拦爬虫、产品改版可能制造死链。固定的审计日历是对抗漂移的纪律：

时间点 审计动作 触发条件
每周 AI爬虫日志抓取量巡检 抓取量骤降50%即告警
每月 核心50页Schema校验+死链扫描 常规
每季度 全量技术审计（第七节checklist） 常规
事件触发 增量审计 改版/换CDN/调WAF/换主题后48小时内

常见问题

Q1：屏蔽AI训练抓取会影响被AI引用吗？

分引擎。对实时检索型（Perplexity、ChatGPT搜索），只要放行检索类爬虫（OAI-SearchBot、PerplexityBot）就不影响引用；对依赖预训练语料的场景，屏蔽训练爬虫意味着新内容进不了未来的模型。建议：核心营销内容全部放行，仅对确有版权顾虑的内容单独屏蔽。

Q2：WordPress站点做技术GEO要注意什么？

WordPress天然对爬虫友好（服务端渲染），重点是三件事：装一个可靠的Schema插件并配置Organization与Article、确认缓存插件对AI爬虫UA返回完整HTML、清理主题产生的冗余head链接。见山GEO自己的官网就是WordPress架构，可以作为参考样板。

Q3：如何确认AI爬虫真的来过？

看服务器访问日志，过滤UA关键词（GPTBot、PerplexityBot、Bytespider、ClaudeBot）。健康状态下每周应有稳定的抓取记录。如果robots.txt放行但日志无记录，检查WAF/CDN拦截和站点可达性；如果有记录但AI答案不引用你，问题在内容层而非技术层。

Q4：结构化数据可以用AI批量生成吗？

可以用AI辅助生成JSON-LD代码，但字段值必须逐项人工核对——Schema里的错误事实（错误的地址、成立时间）会直接污染AI对品牌的认知，修复成本远高于生成成本。宁缺毋假。

Q5：见山GEO提供单独的技术审计服务吗？

提供。技术GEO审计是见山GEO信源建设（/services/jianshan）模块中的”山基夯实”环节，可单独交付七个工作日完成的全量审计报告，也可作为完整GEO项目的第一阶段。咨询电话 13632957375，公司地址：湖北省武汉市武昌区。