01原理
权威错误影响倾向是指:人会自动服从被认定为权威的人,而且服从得很快,来不及判断这条指令本身对不对。在等级结构里,这多数时候是一种效率,新人照着老手做、护士照着医嘱做,大部分时候都对。麻烦出在两种情况:权威本人错了;或者权威的意思在传达中走了样,执行的人却不敢问、不去问。
芒格特别强调,这种服从强到连专门训练都压不住。航空业明知机长会犯致命错误,专门在模拟器里训练副驾驶去顶撞,可还是有很多副驾驶眼看着机长犯下明显的错误,任由模拟飞机坠毁。他还提醒,权威的位子一旦给出去就很难收回,权威本人错了,下面的人也会继续替他圆。
小公司以为自己扁平,这个倾向就不存在,其实不然。五个人的团队里,创始人、带过大模型项目的那位研究员、领投的合伙人,都是权威。现在又多了一个新权威:语气笃定、引经据典的模型。它不是人,却同样会让人放下核对的习惯。
为什么成立
从进化看,在群体里跟着头领走,比每个人独立评估更省力,也更安全,所以服从是一种低成本的默认反应。组织又通过头衔、制服、资历和署名不断强化这种信号。问题是,人服从的往往是这些信号,而不是信号背后的能力:一个电话里自称医生的陌生人,一个在本行业资历很深、却在新领域毫无经验的人,都能得到同样的服从。
服从还会和别的倾向叠在一起。下属不想得罪上司(喜欢和避免怀疑),也不想显得自己比老板蠢(过度自我评价反过来起作用),周围的人也都不吭声(社会认同)。芒格分析米尔格拉姆实验时就说,那里同时有大约六种倾向在起作用。所以权威错误影响很少单独伤人,它通常是让一屋子聪明人一起闭嘴的那股力量。
02芒格怎么说
在《人类误判心理学》2005 年修订稿里,芒格把权威错误影响列为第 22 种倾向,并单独写了一节。他的解释从进化讲起:人类一直生活在等级结构里,生来多是跟随者,社会制度又把这种倾向加固了。他举了几个例子:医嘱里的“r. ear”被读成直肠,二战时一名飞行员误读了身边将军的小动作,结果飞机坠毁,还有副驾驶在模拟器里明知机长出错,仍任飞机坠毁。他在这一节最后讲到公司:位子上的权威人物一旦错了,很难被拿下,所以任命谁掌权要格外小心。
Living in dominance hierarchies as he does, like all his ancestors before him, man was born mostly to follow leaders, with only a few people doing the leading.
人和他所有的祖先一样生活在支配等级中,生来大多是跟随领导者的,只有少数人在领导。
copilots in simulator exercises will too often allow the simulated plane to crash because of some extreme and perfectly obvious simulated error of the chief pilot.
副驾驶在模拟器演练中,太常因为机长一个极端且一目了然的模拟错误,就任由模拟飞机坠毁。
Be careful whom you appoint to power because a dominant authority figure will often be hard to remove
任命谁掌权要小心,因为一个占支配地位的权威人物往往很难被拿掉。
03怎么用
- 01
把“谁说的”和“说的对不对”分成两步
评审方案时,先只看论据和数据,再看作者是谁。可以先匿名提交关键设计文档或评测结论,讨论完再揭晓作者。对创始人自己的提议也一样:创始人最后发言,避免第一句话就把方向定死。
- 02
给“叫停”一个制度化的位置
航空业后来的做法是让副驾驶有明确的发言程序和责任,而不是指望他鼓起勇气。小团队可以照着做:上线、删数据、对外发布这类不可逆操作,任何一个人都可以喊停,喊停不需要理由,恢复执行需要负责人说明理由。把这条写进流程,而不是挂在嘴上说“欢迎大家提意见”。
- 03
把模型输出当成实习生交的初稿,而不是权威
模型给出的引用、数字、法律或医学结论,一律要回到原始来源核对。不要问模型“这是真的吗”来验证,那等于让被核查的人自己出证明。核对要用独立渠道:数据库、原文、另一个人。
- 04
说清楚权威的边界
某人在一个领域是权威,不代表他在相邻领域也是。招来的大厂研究员懂训练,不一定懂定价;投资人懂融资节奏,不一定懂你的用户。开会时可以直接问一句:这件事上,谁真的有一手经验?
04案例
特内里费:机长说“对”,飞行工程师就没再问
加那利群岛特内里费的洛斯罗德奥斯机场大雾,荷航 4805 号航班在没有拿到起飞许可的情况下开始滑跑,撞上了还在跑道上的泛美 1736 号航班,583 人遇难。荷航机长范赞滕是公司的首席飞行教官,照片还出现在荷航的广告上。驾驶舱录音显示,滑跑开始约 20 秒后,飞行工程师舒雷德问:“他还没离开吗,那架泛美?”机长坚定地答了一句“噢,是的”,继续加速。十几秒后两机相撞。PBS《新星》对录音的注释认为,副驾驶和工程师之后没有再追问,可能是因为机长资历极深:两人都提出过疑问(副驾驶此前还提醒过“我们还没拿到塔台许可”),但都没有坚持。事故之后,航空业刻意淡化驾驶舱等级,鼓励副手质疑机长,这一路演变成后来的机组资源管理(CRM)训练。芒格提到的“训练副驾驶不服从机长的明显错误”,就是这类做法。[2][3]
霍夫林医院实验:一个陌生“医生”的电话
精神科医生霍夫林的团队找一名研究人员冒充“史密斯医生”,给一家医院值夜班的护士打电话,要她们给病人服用一种虚构的药物“Astroten”20 毫克,而药瓶标签写着每日最大剂量 10 毫克。这条指令违反了好几条规定:不能接受电话医嘱,来电者是护士没见过的医生,这种药也不在当天的用药单上。结果 22 名护士里有 21 名开始准备给药,才被埋伏的观察员拦下。事先在另一家医院做的问卷里,大多数护士和护生都说自己不会照做。1977 年兰克和雅各布森换了条件再做一次:用真实医生的名字、护士熟悉的药物(安定),并且护士可以询问同事。这一次 18 人里只有 2 人照做。两项研究放在一起,比单看霍夫林更有用:权威的力量在信息不足、找不到人商量的时候最大。[4][5]
Mata 诉哥伦比亚航空:两层权威,六个不存在的判例
这不是 AI 公司,而是一个几个人就能把文件递上法庭的执业团队,第一次把生成式 AI 用进专业工作。纽约律所 Levidow, Levidow & Oberman 的律师施瓦茨负责写一份反驳动议的文件,签字、递交的却是同事罗杜卡,因为施瓦茨没有在该联邦法院执业的资格。法院的意见书记录了两层服从。第一层:罗杜卡说他只看了行文和语法,没有查看文中引用的任何判例,他相信与自己共事二十五年以上的施瓦茨的工作是可靠的。第二层:施瓦茨从没处理过相关的联邦案件,律所的检索工具查不到足够的联邦判例,他就用了 ChatGPT,以为那是一个“超级搜索引擎”。对方律师指出有些判例查不到之后,他问 ChatGPT“Varghese 是真案子吗”,模型回答这些判例是真的,在 Westlaw 和 LexisNexis 都查得到。最终六个判例被确认不存在。2023 年 6 月 22 日,卡斯特尔法官对两人和律所处以 5000 美元罚款,并要求他们把意见书寄给被冒名“撰写”这些假判决的法官。对小团队的教训有两条:人对资深同事的信任会让复核形同虚设;问模型自己对不对,不能算核对。[6]
前大厂研究员说“这个评测不用看”
一家 6 人的 AI 应用公司刚招来一位在大模型实验室做过后训练的研究员,团队上下都很敬重他。他认为某个开源模型微调后“明显更好”,建议直接替换线上模型,并说内部那套 200 条的回归评测“太小,没意义”。没人反对:客服负责人发现退款类问题的回答变差了,但觉得自己不懂模型,就没开口。上线一周后,退款工单翻倍。复盘时大家发现,那套评测确实小,可它恰好覆盖了退款这一类问题,而研究员过去的经验来自通用聊天场景,不来自客服。改进办法并不复杂:替换模型前由数据说话,权威人物最后发言,评测里任何一类问题明显退步,都要先由提出替换的人解释清楚。
05误用与边界
把“反权威”当成美德
这个模型提醒的是不要自动服从,不是什么都要质疑。专家在自己的领域里大多数时候是对的,事事推翻专家意见的团队,会把时间浪费在重新发明轮子上。正确的做法是在不可逆、高代价、超出专家本行的决策上设检查点,而不是对所有指令都反着来。
以为扁平化就能消除权威
取消头衔,权威不会消失,只会变得更隐蔽:股权最多的人、最早加入的人、技术最强的人、融资时站在台前的人。没有正式等级时,大家更难明说“我不同意”,因为没有程序可以依靠。小团队需要的是明确的异议程序,而不是假装大家平等。
只防人,不防机器和数字
权威不一定是人。模型笃定的语气、看起来专业的仪表盘、排名第一的榜单,都会触发同样的服从。如果核对流程只针对“老板说的”,却对“系统给的”照单全收,就只防住了一半。
06检查清单
下次做相关决策前逐条过一遍。勾选只保存在你的浏览器里。
08来源
- 1
- 2
- 3
- 4
- 5
- 6