MATH · 数学与概率后人归纳

033回归均值Regression to the Mean

极端的结果里掺着运气,下一次多半会往平均靠,别把回落当成因果。

01原理

任何一次结果,都可以拆成两部分:稳定的实力,加上这一次碰上的运气。挑出表现最极端的那一批,比如本月成交最多的销售、评测分数最高的提示词、增长最猛的一周,你挑中的不只是实力强的,也挑中了运气好的。下一次实力还在,运气却要重新抽,于是平均来看,这批人会往整体平均靠一点。最差的那一批反过来,下一次多半会好一点。这就是回归均值:不需要任何人做任何事,它自己就会发生。

麻烦在于,人几乎总会给这个回落或反弹编一个原因。表现最好之后被表扬,下一次变差,就说表扬让人骄傲;表现最差之后被骂,下一次变好,就说骂有用。产品数据最差的那周上了一个改动,下一周回升,功劳就记在改动头上。这些故事听起来都合理,但同样的回落和反弹,什么都不做也会出现。

芒格 1998 年那篇演讲的落点正在这里:基金会看到最近几年的好回报和自家顾问的好成绩,就默认它们会延续,并为此付出每年数个百分点的费用。他要听众先接受一个朴素的事实:好年景不一定延续,扣掉成本之后,一半人必然在中位数以下。对小团队来说,换成自己的话就是:最好的一个月不是新常态,最差的一个月也不是。

为什么成立

回归的幅度取决于结果里运气占多少。如果两次测量之间完全相关,也就是结果全由实力决定,就不会回归;如果完全不相关,全是运气,下一次的期望就是平均值本身。现实大多在中间:相关系数是 r,那么第一次偏离平均多少,第二次平均只保留大约 r 倍。高尔顿测身高时估出的这个系数大约是三分之二,所以特别高的父母,孩子平均也高,但没那么高。

由此可以推出两条很实用的规律。第一,样本越小、测量越粗,运气占比越大,回归越厉害:50 道题的评测、一周的转化率、三个客户的反馈,极端值都很不可靠。第二,尝试的次数越多,挑出来的最好结果里运气越多。同样水平的 20 个方案各测一次,取最高分,这个最高分几乎一定高估了它,因为你等于在 20 次抽奖里挑了最幸运的那次。要知道真实水平,只能用一批没参与挑选的新数据再测一次。

02芒格怎么说

芒格没有专门讲过回归均值。网上流传的那句“Mimicking the herd invites regression to the mean”,常被说成出自他 1998 年对基金会财务官的演讲;我们核对了《穷查理宝典》Stripe Press 版的这篇演讲全文,里面没有这句话,它出现在该书第三章编者整理的“投资原则清单”里,是编者的归纳,不是芒格原话。这篇演讲里和回归均值最接近的是三个判断:过去几年 17% 的毛回报不会一直延续;扣掉“荷官”的费用之后,正好一半投资者会落在中位数以下;几乎每个投资专家都说自己高于平均。本章的统计部分是我们补充的。

But it is not written in the stars that foundations will always gain 17 percent gross, a common result in recent years.

但没有哪颗星星写着,基金会能一直拿到 17% 的毛回报,尽管这是最近几年常见的成绩。

1998 年 10 月,对基金会财务官群体的演讲《顶尖慈善基金会的投资实践》,谈多层顾问的费用 · Talk Six: Investment Practices of Leading Charitable Foundations(Poor Charlie’s Almanack, Stripe Press 版)
And it is also inescapable that exactly half of the investors will get a result below the median result after the croupiers’ take

同样躲不开的是:扣掉荷官的抽成之后,正好一半的投资者,结果会低于中位数。

同一场演讲,紧接着算基金会扣费后的长期回报 · Talk Six: Investment Practices of Leading Charitable Foundations(Poor Charlie’s Almanack, Stripe Press 版)
Virtually every investment expert’s public assessment is that he is above average, no matter what the evidence to the contrary.

几乎每个投资专家公开的自我评价都是高于平均,不管反面证据有多少。

同一场演讲,讲过度乐观和瑞典司机调查 · Talk Six: Investment Practices of Leading Charitable Foundations(Poor Charlie’s Almanack, Stripe Press 版)

03怎么用

  1. 01

    挑完之后,用新数据复测

    从多个提示词、模型配置或落地页里选出最好的那个后,不要直接把它的分数当成上线后的预期。留一份从没参与挑选的测试集(或者另起一周的真实流量)再测一次,把复测分数写进决策文档。复测分数明显低于挑选时的分数,不是方案坏了,是挑选时的运气被扣掉了。

  2. 02

    判断一个改动有没有用,先问“不改会怎样”

    团队最爱在数据最差的时候动手,而最差的时候恰好最容易自然反弹。所以评估改动不要只比改动前后,要有对照:同期没改的用户组、往年同一时段,或者先估一下这个指标正常的周度波动。改动后的回升没超过“什么都不做也会回来”的幅度,就不能算它的功劳。

  3. 03

    奖惩和招人,看多期而不是一期

    给销售、外包标注员或渠道伙伴发奖金,按单月排名发,下个月你会看到“拿了奖就松懈、挨了批就进步”,这多半是回归,不是人性。改成看连续几个月的滚动表现,或者把奖励挂在可控的过程指标上。招人时同理:一次面试表现极好的候选人,入职后平均会往回落一点,面试分数要结合作品、推荐和试用期一起看。

  4. 04

    做预测时,把极端值往平均拉一把

    用最好一个月的收入去推全年,用一次爆款去推下一次发布,都会系统性高估。粗略的做法是:先找到同类事情的平均水平(行业、你自己过去的中位数),再根据这次结果有多可信,决定从平均往极端值走多远。样本越小、运气越重,走得越少。

04案例

经典案例1886 年

高尔顿量身高:高个子父母的孩子,平均没那么高

弗朗西斯·高尔顿在 1886 年的论文《遗传身高中的向平庸回归》里,比较了父母和成年子女的身高。他发现特别高的父母,孩子平均也偏高,但偏离平均的程度变小了;特别矮的父母,孩子平均也没那么矮。他估计子女保留了父母偏离量的大约三分之二。“回归”这个统计术语就从这里来。这个名字容易让人误会:高尔顿说的“平庸”指的是平均值,不是说人群在变平庸;向中间挪的是极端家庭的下一代,整个人群仍然有高有矮。[7][2]

经典案例20 世纪 60 年代(据自传上下文推断)

以色列空军的飞行教官:表扬之后变差,骂完之后变好

卡尼曼在诺贝尔奖自传里回忆,他早年给以色列空军飞行学校的教官讲课,主张表扬比惩罚更能促进技能学习。一位资深教官当场反驳:他表扬做得漂亮的学员,下一次往往变差;吼了做得糟糕的学员,下一次往往变好。卡尼曼意识到,这正是回归均值:好表现之后本来就容易回落,差表现之后本来就容易回升,而人们恰好在好时奖励、差时惩罚,于是统计上会显得奖励受罚、惩罚得奖。他随即让学员背对目标扔硬币、不给任何反馈,第一次扔得最好的人第二次大多变差,反之亦然。教官得出的“骂比夸有用”,其实是把回归当成了因果。[3]

经典案例1933 年

《商业中平庸的胜利》:花十年证明了一个统计必然

统计学家霍勒斯·塞克里斯特花了大约十年收集 1920 到 1930 年几十个行业、几十家公司的数据。他按 1920 年的表现把每个行业的公司分成四档,然后追踪每一档此后的平均成绩,发现到 1930 年,最好和最差的两档都向中间靠拢。他据此写书,认为竞争的力量会让商业走向平庸。统计学家哈罗德·霍特林在书评里指出,这种分组方法本身就会产生向中间靠拢的结果,用来证明竞争的作用等于什么也没证明。对创业者的提醒是:拿“去年最好的那批公司今年变差了”去推断行业规律,先要排除这是挑选方式带来的回归。[4][2]

AI 团队2025 年 4 月

《排行榜幻觉》:私下测 27 个版本,只公开最好的那个(大公司案例)

Shivalika Singh 等 13 位研究者在 2025 年 4 月发表论文《The Leaderboard Illusion》,分析大模型竞技场 Chatbot Arena 的排名机制。论文指出,少数厂商可以在公开发布前私下测试多个模型变体,再选择公开哪个分数、撤回其他的;其中 Meta 在 Llama 4 发布前测试了 27 个私有变体。论文认为,这种“挑最好分数”的做法会让竞技场分数产生偏差。用回归均值的语言说:哪怕 27 个变体真实水平一样,取其中最高分,也几乎一定高于它的真实水平;换一批投票重新测,它会往回落。这不是小团队的事,但小团队做内部评测时面对的是同一个机制:试的版本越多、评测集越小,“最好那个”的分数越不可信。[5]

AI 团队2019 年

Kaggle 一百多场比赛:只要测试集够大,排名大体站得住

回归的反面也值得看。Roelofs、Recht、Schmidt 等人在 NeurIPS 2019 发表的元分析,比较了一百多场 Kaggle 比赛里参赛队伍在公开榜和最终私有榜上的成绩。参赛者反复用公开榜调模型,按理说最好的成绩会在私有榜上回落;但研究发现,没有多少证据表明存在严重的过拟合,留出测试集的方法相当稳健。原因在于这些比赛的测试集通常够大,单次分数里的运气占比小,挑选带来的回归也就小。这个结果给小团队的启示很直接:回归的大小可以控制,办法是把测试集做大、把挑选次数记下来,而不是不去挑选。[6]

05误用与边界

  • 把一切回落都推给“回归”

    回归均值解释的是运气那一部分,不是全部。一个功能上线后留存掉了,可能是回归,也可能是真的做坏了;竞争对手降价之后收入下滑,就是竞争。判断标准是:这次的偏离有没有超出正常波动,有没有对照组也同样回落。用“回归而已”打发一切坏消息,和把一切回升都归功于自己,是同一种偷懒。

  • 以为回归会让所有人变得一样

    回归不是说强的会变弱、弱的会变强直到大家一样。实力的差距是真的,会一直留着;回落的只是叠在实力上的那层运气,而每一期又会有新的人碰上好运或坏运。所以不要因为“反正会回归”就不去区分好坏,该做的是把实力和运气分开估。

  • 均值本身在移动

    回归是往“均值”回,但如果均值本身在变,比如整个市场在扩张、模型能力每季度都在上一个台阶、季节性需求在变化,那么回到哪里就不确定了。芒格谈基金会回报时设想的也是长期均值本身可能下移。先确认你拿来比较的平均水平,是不是这一期还成立的那个。

06检查清单

下次做相关决策前逐条过一遍。勾选只保存在你的浏览器里。

0 / 6

08来源

  1. 1
  2. 2
  3. 3
    Daniel Kahneman – Biographical(诺贝尔经济学奖自传)Daniel Kahneman, NobelPrize.org · 2002一手
  4. 4
    Will Mediocrity Triumph? The Fallacy That Will Not DieGary Smith, Mind Matters · 2021二手
  5. 5
    The Leaderboard IllusionShivalika Singh, Yiyang Nan, Alex Wang, Daniel D'Souza, Sayash Kapoor 等 · 2025一手
  6. 6
    A Meta-Analysis of Overfitting in Machine Learning (NeurIPS 2019)Rebecca Roelofs, Vaishaal Shankar, Benjamin Recht, Sara Fridovich-Keil, Moritz Hardt, John Miller, Ludwig Schmidt · 2019一手
  7. 7
    Regression towards Mediocrity in Hereditary StatureFrancis Galton, Journal of the Anthropological Institute · 1886一手