保罗·舒梅克和菲利普·泰特洛克最近在《哈佛商业评论》上发表了一篇文章，介绍了组织（以及您）如何更好地判断不确定事件的可能性。虽然他们写的是商业公司对预测工具的使用，但他们的见解也适用于政府。
背景。 在伊拉克情报失败之后，情报高级研究计划署 ( IARPA) 于 2011 年开始研究是否有可能提高对不确定事件的预测。它选择了五个学术研究团队参加多年预测竞赛。该计划从 2011 年持续到 2015 年，“招募了超过 25,000 名预测员，他们做出了超过一百万个预测”……预测员面临的挑战是回答他们提出的问题——例如，希腊是否会退出欧元区，或者中国发生金融恐 印尼电话号码 慌的可能性。
有些团队使用计算机算法，有些团队专注于使用专家知识，还有一些团队则转向“群体智慧”。他们知道自己在相互竞争。但他们不知道自己也在与能够获取机密信息的情报分析师竞争。谁更胜一筹？获胜者做了哪些不同的事情？
持续获胜。据 IARPA 称，一支名为“良好判断项目”的 团队一直是持续获胜者，其“与当前最先进的技术相比，错误率降低了 50% 以上”。这被评为公共政策文献中观察到的“判断预测准确性的最大改进”。事实上，他们比能够访问机密数据的情报分析师的准确率平均高出约 30%。结果非常明显，以至于两年后，IARPA 取消了与其他团队的合同，并专注于“良好判断项目”所使用的方法。
“良好判断力项目”是由宾夕法尼亚大学沃顿商学院的几位学者领导的团队，其中包括泰特洛克和舒梅克。他们说：“目标是确定某些人是否天生比其他人更善于预测，以及预测表现是否可以提高。”他们在四年的项目期内证明了这一点，是的，通过应用多种技术可以做到这一点。
他们在文章中写道，他们的方法重点是“通过培训提高个人的预测能力；利用团队来提高准确性；跟踪预测性能并提供快速反馈”。
培训。舒梅克和泰特洛克表示：“推理和去偏培训可以有效增强公司的预测能力。‘良好判断’项目表明，仅仅一小时的培训就能在一年内将预测准确率提高约 14%。”在他们的项目中，他们发现，基本概率概念的培训，如回归均值、贝叶斯修正和统计概率，是预测人员的重要工具。但它也要求“预测包括对要预测的内容的精确定义……以及所涉及的时间范围。”
他们说，成功的预测需要了解认知偏见的作用，比如寻找证实现有观点的信息，并指出：“消除人类判断的偏见是一项艰巨的任务。”他们说，你必须“训练初学者警惕可能产生虚假信心的确认偏见，并给予挑战他们结论的证据应有的重视。”……不要孤立地看待问题……了解心理因素[因为你]可能会在数据中看到没有统计基础的模式。”你如何培养这种特质？他们举了一个例子，一家金融贸易公司通过要求新员工在工作中玩很多扑克来培训他们统计推理和认知陷阱的基础知识！
团队。Schoemaker 和 Tetlock 发现“将预测员组织成团队是提高预测能力的有效方法。在 Good Judgment Project 中，数百名预测员被随机分配单独工作，数百名预测员被分配团队合作工作……团队合作的预测员表现优于单独工作的预测员。”
他们表示，团队中人才的合理组合非常重要——天生的预测者“谨慎、谦逊、思想开放、善于分析，并且善于处理数字”。……并且智力多元化。在他们的项目过程中，“经过一轮又一轮的筛选，最优秀的预测者被筛选为一群精英超级预测者，他们的预测准确率几乎是未经训练的预测者的两倍。”
他们还指出，团队成员“必须相互信任，并相信领导层会捍卫他们的工作，保护他们的工作和声誉。没有什么比预测团队意识到他们的结论可能威胁到团队本身更令人心寒的事情了。”
跟踪。 最后，舒梅克和泰特洛克表示，衡量、报告和做出调整是成功预测的关键要素。他们写道：“桥牌手、内部审计师和石油地质学家……在预测方面表现出色，部分原因是强有力的反馈和改进激励。”但统计数据还不够。你可以计算布里尔分数来衡量预测的准确性并随时间跟踪它们，但知道你的布里尔分数并不一定会提高你的表现。作者说“你还必须跟踪它所使用的过程。”他们建议组织“应该系统地收集高层团队如何做出判断的实时记录，记录所做的假设、使用的数据、咨询的专家、外部事件等。”
然而，作者指出，这三种技术的价值不会单独发挥作用。他们说，组织“只有在受人尊敬的领导者支持这一努力的情况下，才能获得这一优势。”但是如何提高个人成为预测者的能力呢？作者创建了一个公开锦标赛—— “良好判断公开赛” ——这样您就可以参加测试，看看自己是否
