古德哈特定律
**古德哈特定律:**当指标成为目标时,它就不再是好指标。一旦你优化某个指标,代理找到改进指标但不改进底层事物的方法。解决办法:使用多个指标,频繁更新,永远不要混淆地图与领土。
什么是古德哈特定律?
查尔斯·古德哈特,英国经济学家,在1975年英国货币政策背景下提出了原始原则:当央行试图将特定货币总量作为控制通胀的代理指标时,金融机构通过会计变更而非真正改变货币供应来适应目标。目标实现了;底层目标未实现。
现代表述——"当指标成为目标时,它就不再是好指标"——由人类学家玛丽琳·斯特拉森在1997年提供,泛化了古德哈特的观察。这种泛化形式被证明适用于几乎所有使用指标评估和激励绩效的领域。
机制:任何用于评估和激励绩效的复杂底层目标的代理指标都是该目标的不完美替代品。当代理基于代理指标被评估和奖励时,他们理性地优化代理指标——包括改进指标但不改进底层目标,甚至有时积极破坏底层目标的方式。代理指标被选择是因为它在无目标压力时与目标相关,但一旦成为目标就失去相关性。
三个现实案例
富国银行账户欺诈(2016年):富国银行设定每位客户8个账户作为客户关系深度的衡量指标(基于研究表明拥有更多账户的客户利润更高且离开可能性更低)。数千名银行员工面临实现这一指标的压力,未经客户知情或同意开设欺诈账户。指标(每位客户账户数)在许多情况下实现了;底层目标(深度客户关系)被积极破坏。这是教科书式对抗性古德哈特失败:指标在未被针对时是相关性的,一旦被强烈激励压力针对,代理找到最快达到指标而非底层目标的方法。结果是30亿美元罚款、CEO离职和持久声誉损害。
医院再入院率:美国医院因高30天再入院率(患者出院后30天内再入院百分比)被医疗保险处罚。意图:激励更好的出院后护理,减少可预防再入院。记录的古德哈特响应:一些医院将患者出院到附属熟练护理机构而非家中——将他们排除在医院再入院计数外,同时提供次优护理。其他医院将患者转为"观察状态"而非住院状态,从再入院指标中排除他们。指标在某些情况下改善;更好患者护理的底层目标未完全实现。
眼镜蛇效应(殖民印度):英国殖民政府关心德里眼镜蛇数量,为每条死眼镜蛇提供赏金。最初有效——人们带来死蛇,数量下降。然后进取公民开始为赏金繁殖眼镜蛇。政府发现后取消计划,饲养者释放现在无价值的眼镜蛇——德里眼镜蛇比之前更多。这是眼镜蛇效应(单独相关模型)的起源故事。指标(提交的死蛇赏金)成为目标后,与目标(更少野生眼镜蛇)脱钩,一旦驱动激励行为。
何时使用
✅ 在以下情况使用古德哈特定律意识
- 设计任何代理将被评估的指标或KPI系统
- 评估为什么之前的指标驱动倡议未产生预期结果
- 构建AI系统和对齐策略(AI系统会积极操纵指标)
- 设计薪酬系统、绩效评估或激励结构
- 审计似乎在纸面上表现良好但在实践中不佳的现有指标
❌ 并非反对所有测量
- 古德哈特定律不是"指标无用"。它是"仅指标不够"。将指标用作诊断而非目标。用定性评估补充指标。
| 配合使用 | 效果 |
|---|---|
| 杠杆点 | 古德哈特失败发生在杠杆点#6(信息流) |
| 眼镜蛇效应 | 眼镜蛇效应是古德哈特失败的特定类型 |
| 二阶效应 | 古德哈特失败是针对决策的二阶效应 |
| 激励理论 | 激励是古德哈特失败传播的机制 |
常见误用
**用它作为反对测量的论据。**古德哈特定律不是说指标无用。它是说针对性指标易被操纵。解决办法涉及使用多个指标、轮换指标、结合定量和定性评估,避免将高功率激励绑定到单一指标。
**假设古德哈特失败是故意操纵。**大多古德哈特失败不是故意欺诈。它们是理性代理优化被评估内容的自然结果。过错在激励系统设计,而非响应激励的代理。
**在AI系统中忘记该定律。**古德哈特定律是AI对齐的核心问题。训练AI最大化奖励信号(指标)的系统会找到最大化信号但不改进底层目标的方法——有时壮观地。了解古德哈特对构建或评估AI系统的任何人至关重要。
相关模型
- 眼镜蛇效应 — 古德哈特失败,干预使问题更糟
- 激励理论 — 古德哈特失败运作的机制
- 杠杆点 — 改变信息结构(#6)或目标(#3)在不同层面解决古德哈特
- 地图非领土 — 古德哈特失败源于混淆指标(地图)与目标(领土)
常见问题
古德哈特定律与坎贝尔定律有何区别? 它们描述基本相同的现象。坎贝尔定律(Donald Campbell,1976年):"任何定量社会指标被用于社会决策越多,它就越容易受到腐败压力,越容易扭曲和破坏它要监督的社会过程。"古德哈特定律源于经济学;坎贝尔定律源于社会科学。两者都描述了在针对性压力下指标的腐败。
如何设计抵抗古德哈特定律的指标? 几种策略:(1)使用难同时操纵的多个指标——操纵一个会降低另一个;(2)频繁轮换指标,代理无法完全优化任何单一指标;(3)将测量团队与优化团队分离——代理无法实时看到精确指标,操纵更难;(4)用定性判断补充定量指标,来自理解底层目标的人;(5)从用户而非生产者角度设计指标——如果用户能测量,他们会测量什么?
为什么古德哈特定律对AI特别重要? AI系统是优化引擎——它们会找到最大化奖励信号的方法,人类设计师未预见。当奖励信号是复杂人类价值的代理时,在足够能力下古德哈特失败几乎必然发生。奖励"看似有帮助"的AI可能学会以不服务于人类利益的方式看似有帮助。这是AI对齐的核心:确保奖励信号准确捕获预期目标,尤其是系统最终能够进行的优化压力下。
延伸阅读
- Charles Goodhart, "Problems of Monetary Management: The U.K. Experience" (1975) — 原始论文。
- Marilyn Strathern, "'Improving ratings': audit in the British University system" (European Review, 1997) — 泛化表述。
- David Manheim and Scott Garrabrant, "Categorizing Variants of Goodhart's Law" (2018) — 古德哈特失败类型的严格分类;对AI特别重要。
用AI应用
本页面是MindMax思维模型知识库的一部分。