GEO 论文中的“最高提升 40%”测了什么？

“GEO 可以把可见度提高 40%”这样的数字，容易从研究结论变成销售承诺。企业在采用它之前，需要先问清：可见度的统计对象是什么，数字来自什么实验，是否测量了真实客户行为？

《GEO: Generative Engine Optimization》研究了来源内容在生成式答案中的可见性，摘要报告在研究条件下最高可提升 40%，也指出效果因领域而异。这里的最高观察结果，不能直接替换成某家企业未来的推荐率、询盘增长或收入增长。

论文统计的是来源可见度

一项实验可以检验内容修改是否影响来源在生成答案中的表现。企业购买服务时，可能更关心是否被合适的买家纳入考虑、是否带来合格线索。这两个问题之间还隔着用户是否看到答案、是否接受它，以及之后是否采取行动。

所以，研究中的指标有价值，但要保留它原有的定义。“可见度提高”在没有说明计量方式时，不足以构成合同验收条件。尤其不能把论文中的相对提升误写成固定增加多少个百分点。

本篇讨论的是如何使用研究证据，不是否定该实验。实验帮助提出可以继续测试的假设；企业还要核实假设是否适用于自己的任务。

研究条件限制结果外推

企业应检查研究的查询集合、来源范围和评估系统，与自己要进入的市场是否相近。客户的问题、当前产品入口、语言和时间窗口不同，都会限制结果可以推到多远。

NIST 的实验设计说明强调，在分析结果之前明确目标、因素和实验安排。把这一原则用到企业验证中，意味着先写出拟修改的对象、观察的结果和可能干扰判断的其他变化。

如果网站同时重做导航、发布内容并启动广告，之后询盘增加，不能仅凭先后顺序判断某项内容改写贡献了多少。缺少对照条件时，应如实把结果描述成观察到的变化。

企业需要自己的验证

企业可以选择一种有依据的内容修改，明确哪些页面参与、哪些问题用于观察，并在开始前保留版本。先检查修改是否影响预定的答案表现，再讨论有没有足够数据连接到业务结果。

即便出现正向变化，也要报告样本范围和未解决的问题。没有观察到预期结果时，同样值得记录：可能是方法不适合当前任务，也可能是观察不足，不能把失败样本从报告里删掉。

引用研究的正确价值，是让项目假设和验证方法更清楚。研究中的最好结果可以帮助提出问题，但不能替企业回答自己的增长问题。

参考资料

1. Aggarwal 等：GEO: Generative Engine Optimization，研究任务、可见度评估及领域差异。

2. NIST/SEMATECH：What is experimental design?，实验目标、因素与设计原则。