JUDGMENT · 判断与心智习惯后人归纳

083地图不是疆域The Map Is Not the Territory

报表、指标、模型和评测都是地图;地图越好用,越要定期回到实地去核对

01原理

科日布斯基的原意很朴素:地图不是它所代表的疆域,但如果画得对,它和疆域有相似的结构,这正是地图有用的原因。两半句话要一起读。前半句提醒你,任何描述都会省略、简化、过时;后半句提醒你,不要因此把地图扔掉,没有地图你寸步难行。真正的问题不是用不用地图,而是记不记得自己手里拿的是地图。

商业里到处是地图。利润表是一张地图,折旧年限、坏账准备、收入确认口径都是画图人的选择;ARR、留存率、NPS 是地图;估值模型、需求预测是地图;对 AI 公司来说,评测分数、排行榜、线上看板,甚至模型对自己能力的描述,也都是地图。芒格说会计只是起点、只是粗略的近似,说的正是这件事:数字整齐,不代表背后的东西被你掌握了。

对十人以内的团队,这个模型有一个特别的风险点:人少,所以更依赖仪表盘和自动化指标来替自己“看”现场。创始人不可能每天读一百段对话、打二十个客户电话,于是一个数字代替了这一切。这没有错,错在几个月后忘了这个数字是谁画的、按什么规则画的、哪些东西被它省略了。

为什么成立

地图会和疆域脱节,至少有三条路。第一是省略:地图只记录能被记录的东西。芒格在 2003 年说,复杂系统会吐出一堆漂亮的数字,人们于是高估能数出来的因素,忽略那些重要却没法精确计量的因素。第二是过时:疆域在变,地图是某个时刻画的。市场转向、用户行为变化、上游模型升级,地图都不会自己更新。第三是反作用:当一张地图被用来做决策、发奖金、排名次,人们会开始改变行为去迎合地图,地图越重要,就越不像疆域。

心理上,地图之所以难以放下,是因为它便宜、可比、能汇报。现场是嘈杂的、个别的、难以概括的,而一个数字可以放进周报、可以画趋势线、可以和上个月比。再加上芒格说的那种倾向,即人会折磨现实来迁就手里的模型,于是当地图和现场冲突时,人们更常见的反应是怀疑现场的反馈“只是个别案例”,而不是怀疑地图。

02芒格怎么说

“地图不是疆域”是语义学家阿尔弗雷德·科日布斯基(Alfred Korzybski)在 1931 年提出、1933 年写进《科学与理智》的说法,芒格没有专门讲过这个模型,我们在他的演讲里也没有找到他用过这句话;它是后来的思维模型清单把它归进了芒格的格栅。不过芒格反复讲过同一个意思:1994 年在南加州大学,他说会计是起点,但只是粗略的近似,折旧率写成整齐的数字并不等于你真的知道;同一场演讲里,他警告只有一两个模型的人会折磨现实去迁就模型。2003 年在加州大学圣巴巴拉分校,他批评经济学的“物理学嫉妒”和虚假精确,并借凯恩斯的话说宁可大致正确,不要精确地错。

Just because you express the depreciation rate in neat numbers doesn’t make it anything you really know.

把折旧率写成整齐的数字,并不意味着那是你真正知道的东西。

1994 年南加州大学商学院演讲,讲会计只是“粗略的近似”时举喷气式飞机使用年限的例子 · A Lesson on Elementary, Worldly Wisdom As It Relates to Investment Management & Business
the nature of human psychology is such that you’ll torture reality so that it fits your models, or at least you’ll think it does.

人的心理天性就是这样:你会折磨现实,让它符合你的模型,或者至少你会以为它符合了。

1994 年南加州大学商学院演讲,解释为什么必须掌握多个模型 · A Lesson on Elementary, Worldly Wisdom As It Relates to Investment Management & Business
My inspiration again is Keynes: Better roughly right than precisely wrong.

我的灵感还是来自凯恩斯:宁可大致正确,也不要精确地错。

2003 年加州大学圣巴巴拉分校演讲《学院派经济学》结尾,总结对“物理学嫉妒”和虚假精确的批评 · Academic Economics: Strengths and Faults After Considering Interdisciplinary Needs

03怎么用

  1. 01

    给每个核心指标写一张“画图说明”

    对团队最常看的三到五个数字,各写几行:它从哪里来,怎么算,省略了什么,在什么情况下会失真。比如“自动解决率”是否把用户直接关掉窗口也算作解决。这张说明放在看板旁边,新人入职先读它。写不出来的指标,说明团队其实不知道自己在看什么。

  2. 02

    固定频率回到现场抽样

    每周抽一小批原始材料亲自看:随机二十段用户对话、几条失败日志、一两通客户电话。目的不是统计,而是检查地图和现场是否对得上。如果看板说一切正常,而你读到的样本里有明显的问题,先相信样本,去查地图哪里画错了。

  3. 03

    评测要会“退役”

    内部评测集分数长期在九成以上、新版本之间只差一两道题时,它已经分不出好坏了。约定一个退役规则:例如连续几个版本差距小于某个幅度,就从真实失败案例里补一批难题,或者换一套。不要因为历史曲线好看就舍不得换。

  4. 04

    用两张不同来源的地图互相校对

    同一件事尽量用两种独立方式测量:模型打分和人工抽查,收入数字和银行流水,产品埋点和用户访谈。两者一致时可以放心一些;两者分叉时,分叉本身就是最有价值的信号,说明至少有一张地图出了问题。

  5. 05

    在决策文档里写明“这是估计”

    引用任何预测、估值或模型输出时,同时写出关键假设和大致误差范围,并写一句“如果什么情况出现,这个数就不再可信”。这样做的作用,是让决策者记住自己在读地图,而不是在看疆域本身。

04案例

经典案例2009–2013

谷歌流感趋势:搜索词是地图,流感是疆域

谷歌流感趋势(GFT)试图用人们搜索流感相关词的频率来估计流感就诊比例,比疾控中心的监测报告更快。2014 年拉泽(David Lazer)等人在《科学》上复盘:2013 年 2 月,《自然》报道 GFT 估计的流感样病例就诊比例是疾控中心数字的两倍多;从 2011 年 8 月起的 108 周里,它有 100 周估高。作者指出,最初版本有一部分是在检测“冬天”而不是流感,也完全漏掉了 2009 年非季节性的甲型 H1N1 流感;更深的原因是,谷歌自己在不断修改搜索算法,而模型默认搜索量和真实疫情之间的关系是固定的。科日布斯基说,地图之所以有用,是因为它和疆域结构相似;GFT 的麻烦恰恰在于,搜索量和疫情之间的那层结构关系被悄悄改了,地图却没有跟着重画。作者把这种心态叫作“大数据傲慢”:以为大数据可以替代、而不是补充传统的测量。这是大公司的项目,但教训对小团队一样:一个外部信号和你关心的现实之间的关系,不会因为曾经吻合就永远吻合。[4][3]

经典案例2021

Zillow Offers:按自己的售价估计大规模买房

Zillow 的“即时买房”业务按公司对未来售价的估计直接收购房屋,再翻新转卖。根据其 2021 年第三季度的 10-Q,房屋存货从 2020 年底的约 4.9 亿美元涨到 2021 年 9 月底的约 37.6 亿美元;同一季度,公司发现库存中很大一部分房子的成本高于可变现净值,原因是买入价高于公司当时对未来售价的估计,于是计提了 3.044 亿美元存货减值,并在 10 月暂停签新的收购合同。11 月 2 日,董事会决定关闭这项业务,8-K 给出的理由包括“房价的不可预测性”、产能限制和其他运营挑战,预计裁员约 25%。价格估计本来是一张有用的地图,问题在于公司用它下了规模很大的注:估价只是一个参考数字时,画偏一点代价有限;当它直接决定几十亿美元存货的买入价时,同样的偏差就变成了几亿美元的减值。按我们的理解,这里的教训是,地图的误差能承受多少,取决于你押在它上面的仓位有多大。这不是小团队案例。[5][6]

AI 团队2024 年 12 月

Aider 重画自己的评测:84.2% 之后,分数不再说明问题

Aider 是一个开源的终端 AI 编程助手,基本由保罗·高捷(Paul Gauthier)一人维护,按 GitHub 贡献者统计,他的提交数在一万两千次以上,第二名不到五十次。Aider 的排行榜原本用 133 道 Python 练习题测各家模型的代码编辑能力。2024 年 12 月 21 日他发文说,这套题正在“饱和”:最高分已经超过 80%,Sonnet 的 84.2% 是做对 112 道、只剩 21 道没解,新纪录往往只比旧纪录多做对一两道。分数还在涨,但它已经说不清模型之间到底差多少。他的做法是重画地图:从 Exercism 提供的 C++、Go、Java、JavaScript、Python、Rust 六种语言共 697 道题里,先让 7 个模型都做一遍,扔掉大家都能做对的,只留 3 个及以下模型能做对的 225 道作为新的“多语言”基准。新基准上,o1 的最高分是 62%,留下了 86 道题的余地。对小团队来说,这个案例的价值在于动作本身:评测是你自己画的地图,它失灵时没人会通知你,要靠你主动发现“分数在动,但判断不再改变”这个信号。[7][8]

AI 团队 · 情景推演假设情景

自动解决率 80%,客户却在流失

假设一个 6 人团队给自己的 SaaS 产品上线了 AI 客服,看板上的“自动解决率”三个月从 55% 升到 80%,团队据此砍掉了一个兼职客服岗位。但这个指标的定义是“会话结束时没有转人工”,用户问不出结果、直接关掉窗口,也被算作解决。直到季度续费率下滑,创始人才去随机读了五十段对话,发现其中相当一部分是用户反复换说法、最后放弃。地图本身没有作假,它只是省略了团队最关心的那一块,而团队把它当成了疆域。补救的做法是:改指标定义,加上“会话后 7 天内是否再次来问同一问题”,并且每周固定人工抽读对话。

05误用与边界

  • 因为地图不完美就不要地图

    这个模型最常见的误用,是拿“地图不是疆域”来否定一切测量和模型,转而凭感觉做决定。科日布斯基那句话的后半句同样重要:画得对的地图和疆域结构相似,所以才有用。感觉也是一张地图,而且是更粗糙、更难校对的一张。正确的做法是知道地图的误差在哪里,而不是扔掉它。

  • 把个别现场见闻当成新的疆域

    回到现场抽样很重要,但读了三段愤怒的用户对话,就推翻一个基于几万次会话的指标,同样是把一张很小的地图当成了全部。抽样的作用是发现地图可能错在哪里,接下来要做的是去验证,而不是用新的偏见换掉旧的。

  • 用“这只是模型”来逃避责任

    当预测失败时,说一句“模型而已,本来就不是现实”很容易。但如果你按这张地图下了注,就要为地图的误差负责。真正该问的是:下注之前,我是否知道它可能错多少,仓位是否与这个误差相称。

06检查清单

下次做相关决策前逐条过一遍。勾选只保存在你的浏览器里。

0 / 6

08来源

  1. 1
  2. 2
  3. 3
  4. 4
    The Parable of Google Flu: Traps in Big Data AnalysisDavid Lazer, Ryan Kennedy, Gary King, Alessandro Vespignani(Science 343) · 2014二手
  5. 5
  6. 6
    Zillow Group Form 8-K, November 2, 2021Zillow Group(SEC) · 2021一手
  7. 7
    o1 tops aider’s new polyglot leaderboardPaul Gauthier(aider.chat) · 2024一手
  8. 8