置信度校准描述主观概率与实际频率的匹配程度。它既反对把六成把握说成九成,也反对明明有较强证据却永远躲在“五五开”后面。

校准和准确不是同一件事

一个人可以永远预测基础概率,因此校准尚可,却无法区分不同事件;也可以大胆区分事件,却系统性过度自信。高质量预测至少需要两种能力:概率与长期结果相配,以及能把更可能和更不可能的事件拉开。

Brier 分数等评分规则会把概率预测与最终结果比较。它们让“我早就觉得可能”变成可核查记录,也鼓励预测者报告真实信念,而不是只在事后挑选成功判断。

预测锦标赛提供的证据

美国情报高级研究计划署曾组织多年地缘政治预测锦标赛。参与者对明确、可结算的问题给出概率,并随新信息更新。相关研究发现,表现较好的“超级预测者”在多类问题上保持了较好的准确度、区分度和校准,也比其他参与者更新得更快。

这些结果不说明少数人能够稳定预知任何未来。研究对象是有期限、能结算的具体问题,参与者还获得训练、团队讨论和反馈。把结论扩展到长期技术革命、战争终局或单个企业十年命运,需要更谨慎。

怎样练习

把判断写成可结算问题

“产品会成功”无法记分。改成“截至 12 月 31 日,付费续订率是否达到 60%”,并事先定义数据口径。

给出概率,而不是气势词

“很可能”“基本确定”在不同人心中含义不同。先用 10% 的粗粒度表达,熟练后再细化。没有必要用 62.3% 制造精确感。

写下基础比率和关键理由

先看类似事件通常怎样,再说明本次为何应上调或下调。把外部基准和个案信息分开,可以减少故事对判断的劫持。

持续更新但保留轨迹

新证据出现后修改概率是理性,不是摇摆。保留每次更新的时间和理由,才能检查自己是否对坏消息反应太慢,或被噪声来回拉动。

定期画校准表

把预测按概率区间分组,比较实际发生比例。样本太少时不要急于下结论;某一领域的校准也不能自动迁移到另一个领域。

投资中怎样使用

投资结果不只取决于“公司会不会成功”,还取决于价格、损失幅度和替代机会。置信度可以帮助调整研究投入与仓位上限,但不能单独决定仓位。

尤其要区分结论置信度和结果概率。你可能高度确信“这是一家优秀公司”,却仍不清楚当前价格对应的未来回报;也可能只略有胜算,但赔率足够有利。概率、赔率、安全边际和承受力需要一起判断。

边界

许多重要判断反馈慢、定义会变或只有一次结果,难以直接校准。此时可以拆成更短期的中间预测,或明确使用区间和情景。不要为了可记分而只预测容易测、却不重要的事。

操作卡

记录:问题、截止日、结算规则、概率、基础比率和关键理由。

更新:只有新证据或模型改变时调整,并写明幅度来源。

复盘:按领域和概率区间检查校准、区分度与更新速度;样本不足时保留不确定结论。

资料与出处