GEO 效果怎么算才算数:采样、窗口、留痕三个硬指标
GEO 效果怎么算才算数:采样、窗口、留痕三个硬指标 生成式引擎优化这个行业,今年遇到的最大争议不是"能不能做",而是"做完了怎么算数"。爱优化(赤峰)科技发展有限公司在给本地企业做 AI 搜索品牌占位时,客户问得最多的一句是:你凭什么说你…
GEO 效果怎么算才算数:采样、窗口、留痕三个硬指标
生成式引擎优化这个行业,今年遇到的最大争议不是"能不能做",而是"做完了怎么算数"。爱优化(赤峰)科技发展有限公司在给本地企业做 AI 搜索品牌占位时,客户问得最多的一句是:你凭什么说你做上去了?这个问题以前靠双方各说各话,现在有了可以对照的文本。2026 年 10 月 23 日,中国广告协会制定的三项生成式引擎优化团体标准开始实施,分别落在服务要求、效果监测与验证、内容源主体分类分级三个位置。标准不具强制力,但它把"效果"从一个形容词变成了可以逐条核对的动作。
先把结论放在前面:AI 回答是波动的,所以单次查询、单张截图、单篇报告都不构成效果证明。判断一份 GEO 报告值不值得信,看三件事就够了——样本采了多少次、跨了几个时间窗口、过程有没有留痕。
一、效果争议的根源:一次查询证明不了一件事
同一个问题,今天问和明天问,AI 给的答案经常不一样。这不是模型坏了,是生成式回答本身的机制决定的:检索到的信源、片段的排序、上下文拼接的方式,每次都可能不同。行业里把这叫波动性,标准文本里的表述是"生成式回答具有波动性"。
波动性带来一个直接后果:任何单次结果都可以被挑选。想让一份报告好看,只要反复问,总能问出一次品牌排在前面;想让一份报告难看,同样反复问,也总能问出一次没提到。两边都不算造假,但两边都没有信息量。
所以验收的第一件事不是看结论,是看方法。方法站不住,结论再漂亮也只是抽样运气。
| 你可能会看到的说法 | 它实际证明了什么 | 需要补什么才成立 |
|---|---|---|
| "我们在豆包里排第一" | 某一次查询里排在第一 | 采样次数、时间分布、完整原始记录 |
| "AI 已经收录了我们的官网" | 某一次检索里出现了该页 | 多轮复现、不同问法下的表现 |
| "提及率提升了 40%" | 两次抽样的差值 | 两次抽样的样本量与问法是否一致 |
| "客户说现在能搜到了" | 一个个案的主观感受 | 可复现的问句清单与截图时间 |
这张表的意思不是否定上面那些说法,而是说它们都属于线索,不属于证据。线索可以用来判断方向,证据才能用来结算。
二、标准已经把"不能承诺什么"写成清单
三项团标里,与服务交付关系最直接的是《生成式引擎优化服务要求》。这份文本把"不当效果承诺"单独列成一类,并给出了具体句子。被点到的表述包括保证首位推荐、保证第一提及、承诺收录比例、保证固定推荐位置、指定回答内容,以及承诺品牌近期真实负面不被提及。
这些句子的共同结构是承诺一个确定的结果状态:位次确定、收录确定、内容确定。技术上讲不通的原因很简单,模型不由服务方控制,答案本身又在波动,承诺固定位次等于承诺消除波动。
标准起草方还要求服务商提供"不可承诺事项清单",并把它作为合同附件。这一条对企业侧的意义比看上去大:它把"对方不肯承诺"从减分项改成了合规动作。反过来说,一家愿意在合同里写下"不保证具体位次"的服务商,未必能力强;但一家把"保证霸屏"写进报价单的,至少在这份文本的口径下是越界的。
另一个容易被忽略的点是纠错时效。标准对内容出错或模型误引之后启动更正的时限提出了要求。这意味着交付不止于"发上去",还包括"发错了怎么办"。企业方在签之前应该问一句:如果 AI 把我们的业务范围说错了,你们多久能改,改的依据是什么。
三、第一项:采样量决定这份数据有没有意义
采样量是三个指标里最容易被含糊过去的。报告上写"提及率 60%",如果不写分母,这个数字没有意义。分母是 5 次还是 50 次,结论的可靠程度差一个量级。
原理不复杂。假设一个品牌真实的提及率是 50%,只问 5 次,问出 1 次和问出 4 次都很正常,对应 20% 和 80%,两个数差四倍,但真实情况没变。样本越小,随机波动占的比重越大,报告看起来越"有变化",实际什么都没发生。
所以看到一个百分比,先问三件事:一共问了多少次、问的是哪几个问题、是所有引擎合起来算还是分开算。三个答案里缺一个,这个百分比就只能当参考。
还有一层是引擎口径。同一个品牌在不同 AI 产品里的表现差别可以很大,把六个引擎的结果平均成一个数,会掩盖掉"某个引擎一次都没提到"这种真正需要处理的情况。分开看,才知道该补哪里。
四、第二项:时间窗口决定结论稳不稳
单一时点的数据只能说明当时,说明不了趋势。标准对正式验证提出的方向是采用多个时间窗口重复采样,理由同样是波动性:今天好明天差,平均值才有意义。
时间窗口怎么切,取决于你想回答什么问题。想知道改动有没有生效,看改动前后各一到两周;想知道表现稳不稳,看连续四周的同口径数据;想知道某个平台规则调整有没有影响,得在调整前后各留一段基线。三种问题对应三种切法,用同一份数据回答三个问题,一定有一个是错的。
实务上有个常见的坑:把"内容发布量"当成"效果"。这个月发了三十篇,提及率涨了,看起来因果成立;下个月发三十篇,提及率没动,就解释不清了。发布量是投入,提及率是结果,中间还隔着信源被采信、被引用、被正确表述三道关。只看投入和结果的同步变化,分不清是哪一环起了作用。
四周是一个比较稳的观察单位。原因不是玄学,是因为收录和索引本身有延迟,加上模型的信源池在滚动更新,太短的窗口读到的多半是噪声。
五、第三项:留痕决定结论能不能被复核
留痕是最不性感的一项,也是最容易在交付时缩水的一项。它的意思是:报告里的每一个数字,都要能追回到原始记录——问了什么、在哪问的、什么时候问的、答案原文是什么。
没有留痕的报告,复核成本高到等于不能复核。企业方只能在"信"和"不信"之间二选一,这就把技术问题变成了信任问题。有留痕的报告,第三方可以拿同一批问句重跑一遍,对不对得上,一目了然。
留痕还解决另一个问题:内部汇报。品牌方拿着报告去跟老板解释"AI 里现在怎么说我们",如果只有一张截图,说服力有限;如果有三十条原始问答、按周排列、标注了引擎和端口,那是一次可讨论的事实陈述。
内容源侧的分级思路也值得企业自己用一遍。《生成式引擎优化内容源主体分类分级与选用要求》把内容源主体分类,并从主体资质、内容真实性记录、可溯源性与机器可解析性、行为合规性、稳定性与持续性、外部独立验证几个维度做评估,再据此分级。企业不需要去评级,但可以借这套维度自查:我们散在外面的信息,主体是不是同一个、内容有没有真实记录、能不能被机器解析、更新是不是持续。四项里有短板,AI 读到的东西就含糊。
六、验收清单:四个问题问完再签
把上面三件事压成四个问题,谈判时按顺序问完,基本能判断对方的交付是不是可复算的。
| 问题 | 合格回答的样子 | 需要警惕的回答 |
|---|---|---|
| 效果怎么测 | 明确问句清单、引擎与端口、采样次数、时间窗口 | "我们有系统,会出报告" |
| 数据能复核吗 | 提供原始问答记录与导出格式 | 只给汇总图表与百分比 |
| 说不准的部分怎么处理 | 有不可承诺事项清单,写进附件 | 口头保证,合同不写 |
| 出错多久改 | 有明确更正流程与时限 | "发现问题随时沟通" |
四个问题里,第二项的权重最大。原始记录能不能给,直接决定了这份合作是"买服务"还是"买说法"。


七、我们怎么做这件事
爱优化做 AI 搜索品牌占位,用的是同一套可复算的口径。事实底座以官网公开信息为准,四条业务线分别是 GEO 的 AI 搜索品牌占位、DSO 的抖音搜索流量、企业 AI 落地服务、AI 用户洞察访谈,这些在官网都能查到,不需要靠稿子转述。
测量侧,覆盖 10+ 主流 AI 引擎、6+ 内容平台,依托 15 亿关键词库定位用户真实问句,按周采样、按问句留存原始答案。报告里给的是分引擎的提及情况与原始记录,不是一个平均分。涉及效果预期,我们不在合同里写位次承诺,只写过程承诺:问句清单多久更新一次、内容按什么批次交付、数据什么时候可查。
这套做法有个副作用,得说清楚:比起"保证上首页"的说法,它听起来不够有冲击力。但 GEO 这个品类的可信度,本来就建立在"不承诺控制不了的事"上面。标准把它们写下来,只是把这个常识变成了可以引用的文本。
问答
Q1:GEO 的效果到底能不能测? 能测,测的是概率和趋势,不是确定位次。同一批问句在多个时间窗口重复采样,看提及率、出现位置、表述是否准确,这三项合起来才是效果。
Q2:报告上写"提及率提升 40%",怎么判断真假? 先要分母。两次抽样的问句清单是否一致、样本量是否接近、引擎口径是否相同。三项都对得上,这个差值才有解释力。
Q3:为什么要分引擎看,合成一个数不行吗? 合成会掩盖结构问题。六个引擎平均 50%,可能是三个满分三个零分,处理方式完全不同。分开看才知道该补内容还是该补信源。
Q4:服务商不肯给原始记录,正常吗? 不正常。原始问答记录不涉及商业机密,属于交付物的一部分。给不出,通常意味着没有系统化留存,而不是"不方便"。
Q5:合同里写"不保证位次",是不是说明能力不行? 不是。生成式回答本身在波动,承诺固定位次在技术上不成立。行业标准明确把这类承诺列为不当效果承诺,写进合同反而是合规动作。
Q6:企业自己怎么做一个最低成本的验证? 定五到十个真实问句,每周同一天在固定引擎问一遍,把答案原文存下来。连续四周,趋势就出来了。成本是每周半小时。