Superforecasting by Philip E. Tetlock and Dan Gardner

Superforecasting by Philip E. Tetlock and Dan Gardner

The Art and Science of Prediction

Superforecasting by Philip E. Tetlock and Dan Gardner

Buy book - Superforecasting by Philip E. Tetlock and Dan Gardner

What exactly is the subject of the Superforecasting book?

Superforecasting (2015), based on decades of study and the findings of a large, government-sponsored forecasting tournament, explains how to improve the accuracy of your forecasts, whether you're attempting to foresee changes in the stock market, politics, or your日常生活。

Who is the target audience for the Superforecasting book?

  • Those that are interested in learning how forecasting works
  • Thinkers who are able to think critically
  • Businesspeople that wish to enhance their forecasting abilities

Who are Philip E. Tetlock and Dan Gardner, and what do they do?

Phil Tetlock, the Annenberg University Professor at the University of Pennsylvania, is a political scientist and psychologist who specializes in political psychology. He is the founder and director of the Good Judgment Project, a forecasting research that has resulted in more than 200 papers published in peer-reviewed journals.
Dan Gardner is a journalist, author, and speaker who lives in New York City. Besides being the author of the well acclaimed books Risk: The Science and Politics of Fear and Future Babble, Gardner has also spoken on a variety of topics throughout the world for governments and companies like Google and Siemens.

私にとって正確に何が入っていますか? Learn how to create accurate predictions by watching this video.

Forecasts and predictions are made on a wide range of topics, including the weather, the stock market, next year's budget, and who will win this weekend's football game, among many others. However, these are not the only topics about which we make predictions. As a result of our obsession with predicting, we get upset when events do not unfold in the manner in which we had anticipated them. So, can predictions be made that are more accurate than they are today? They have the ability. Within a few months, we'll be able to produce superforecasts that are trimmed and realigned with each new piece of information, and then evaluated and improved after the predicted event has occurred. In these notes, we'll look at the difficult but fascinating skill of producing the ultimate predictions, which is both hard and interesting.

Here you'll learn why the former CEO of Microsoft anticipated the iPhone's market share; how a forecaster foretold the autopsy of Yasser Arafat; and why groups of forecasters are more effective than individuals in predicting the future.

Forecasting has certain limits, but that should not be used as an excuse to reject it.

Forecasting is something we do on a regular basis, whether we're planning our next career move or making a financial investment decision. In essence, our predictions are a reflection of our hopes for what the future will bring. Forecasting, on the other hand, is restricted since even small occurrences may have unanticipated effects. We live in a complicated world where even a single individual may cause catastrophic consequences. Take, for example, the Arab Spring. Mohamed Bouazizi, a Tunisian street seller, set himself on fire because he was humiliated by corrupt police officers. This was the beginning of a chain reaction.




考えてみると、予測を測定することは簡単なように思えます。予測を収集し、その正しさを評価し、計算を行い、出来上がります!ただし、それほど単純ではありません。元の予測の重要性は、正確であるかどうかを決定する前に理解する必要があります。 Microsoft CEOのSteve Ballmerのケースを考えてみましょう。SteveBallmerは、iPhoneがその年の4月に市場のかなりの割合を獲得できないと予測しています。 Appleの時価総額の大きさを考えると、Ballmerの予測は馬鹿げているように見え、人々は実際に彼を笑いました。もう1つの重点点は、Appleが米国のスマートフォン市場の42%を所有していたという事実でした。これは、業界全体の明らかにかなりのシェアです。しかし、ちょっと待って、彼が本当に言ったことを聞いてみましょう。

彼は、はい、iPhoneは多くの収益を上げるかもしれないが、世界の携帯電話市場のかなりの部分を獲得することは決してできないだろうと言った(彼の予測:2〜3パーセント)。代わりに、彼の会社であるMicrosoftによって開発されたソフトウェアは、市場を支配するために成長します。そして、多かれ少なかれ、この予測が実現しました。 2013年の第3四半期に、Garner IT Statisticsによると、iPhoneの世界的な携帯電話販売の世界的なシェアは約6パーセントであり、これはBallmerが予想していたものよりもはるかに多いですが、それほど多くはありません。その間、Microsoftのソフトウェアは、当時世界中で販売されている携帯電話の大部分で利用されていました。また、予測は曖昧な言語の使用を避け、代わりに数値データに依存して精度を向上させる必要があります。

When predicting, it is customary to use ambiguous terms such as "could," "may," or "likely." However, research has shown that individuals attach various interpretations to phrases such as these. In order to communicate probability correctly, forecasters should use percentages or other numerical measures to describe the likelihood of an event. When American intelligence agencies such as the NSA and the CIA stated that Saddam Hussein was concealing weapons of mass destruction, the allegation was shown to be false, it was a catastrophic failure for the United States government. If these intelligence agencies had computed with more accuracy and applied percentages, the United States may not have attacked Iraq in 2003. The odds of Iraq possessing WMDs were 60 percent, but there was still a 40 percent possibility that Saddam didn't have any — a weak rationale for going to war, to put it mildly –

If you wish to increase the accuracy of your predictions, keep track of your results.

So, how can we prevent making catastrophic mistakes like those that occurred with the WMDs? Clearly, we need to improve the accuracy of our predictions. Let's have a look at some of the methods for doing this. The most effective method is to maintain score. To accomplish this, the author's research team created the government-sponsored Good Judgment Project, which drew thousands of volunteers who answered more than one million questions over the period of four years, resulting in the publication of the book. The researchers believed that by utilizing scoring, they would be able to increase forecast accuracy.

Questions such as "Will Tunisia's president escape to a comfortable exile in the next month?" and "Will the euro fall below $1.20 in the next twelve months?" were answered by participants. Afterwards, each forecaster gave a likelihood rating to each participant's forecast, modified it as necessary after reading pertinent news, and, when the predicted time came around, assigned each prediction a Brier score, which indicated how accurate the forecast was. The Brier score, which was named after Glenn W. Brier, is the most often used way of determining the accuracy of a prediction. The lower the number, the more accurate the prediction; for example, a flawless forecast receives a score of one hundred and fifty-one. A random estimate will result in a Brier score of 0.5, while a forecast that is totally incorrect will result in a maximum Brier score of 2.0.

The question that is being asked has an impact on how to interpret the Brier score. Despite the fact that you have a Brier score of 0.2, which seems to be excellent, your prediction may turn out to be disastrous! Let's pretend we're making weather predictions. If the weather in Phoenix, Arizona is constantly hot and sunny, a forecaster could simply anticipate hot and sunny weather and get a Brier score of zero, which is obviously better than a score of 0.2. When it comes to forecasting the weather in Springfield, Missouri, which is known for its unpredictable weather, you would be considered a world-class meteorologist even if your score was just 0.02.

Superforecasters begin by breaking down issues into smaller pieces in order to better understand them.

Is it true that all superforecasters are brilliant thinkers who have access to top-secret intelligence?いいえ、まったくそうではありません。 So, how can they make such precise forecasts about the future, you may wonder. In order to solve a topic, a superforecaster must first break down apparently intractable difficulties into manageable sub-problems. This is referred to as Fermi-style reasoning. Enrico Fermi, a scientist who played a key role in the development of the atomic bomb, was able to predict with remarkable precision things like, for example, the number of piano tuners in Chicago, despite the fact that he did not have a single piece of information at his disposal.





このイタリアの家族がペットを獲得する可能性が何であるかを尋ねられた場合、家族や彼らの生活環境の特徴を即座につかむことで見つけようとする可能性があります。ただし、そのような場合はスーパーフォーフォーキャスターとしての資格はありません!スーパーフォーケスターは、詳細を調べることから始めません。代わりに、彼女は、アメリカの家がペットを所有している割合または「基本料金」を見つけることから始めます。彼女はそこから行きます。 Googleの助けを借りて、これが数秒で人口の割合を見つけることができます。これは外からの眺めです。あなたがそれをした後、あなたは内側から物事を見ることができるでしょう。これにより、基本レートを適切に変更できる情報が提供されます。



プロセスが開始されると、スーパーフォーキャスターがどのように物事を開始するかを見てきましたが、最初の予測を行ったら、座って正しいかどうかを確認することはできません。新しい知識は、以前の判断の更新と変更を必要とします。ビル・フラックを覚えていますか?最新情報によると、ポロニウムがヤッサー・アラファトの体に見られると予測した後、彼はニュースの時計を維持し、それが必要だと感じたときはいつでも彼の予測を改訂しました。その後、スイスの調査チームは、Flackの最初の予測が何年も前に行われたという事実にもかかわらず、より多くのテストが必要であり、調査結果は後で発表されると主張しました。 Flackはポロニウムに関する広範な研究を行っていたため、チームがポロニウムを発見したことを知っていて、ポロニウムの供給源を決定するためにさらなるテストが必要であることを知っていました。その結果、Flackは予測を65%に増やしました。

結局のところ、スイスのチームはアラファトの遺体でポロニウムを発見し、その結果、フレックの最終的なブライアースコアは0.36ポイントになりました。質問の複雑さを考えると、これは素晴らしいパフォーマンスです。ただし、注意する必要があります。新しい知識は有益かもしれませんが、誤解されている場合にも有害である可能性があります。 1つの例によると、米国政府のIntelligence Divanced Research Projects活動(IARPA)は、2014年9月15日に前年よりも北極海氷が少なくなるかどうかを尋ねました。スーパーフォーフォーキャスターのダグ・ローチは、応答が肯定的であるという55%の確率があるという結論に達しました。一方、Lorchは、彼の予測を90%から95%に引き上げるのに十分な影響を与えた海氷予測ネットワークから1か月前のレポートを受け取りました。

2014年9月15日が最終的に到着したとき、前年よりも多くの北極氷がありました。 Lorchの最初の予測により、これは45%の発生の可能性を与えましたが、彼の修正後、可能性はわずか5%に低下しました。巧みな更新を行うには、繊細なニュアンスを不必要な情報から分離する必要があります。意見を変えることを怖がらないでください。しかし、決定を下す前に、新鮮な知識が役立つかどうかについて慎重に考えてください。


おそらく、あなたは「GroupThink」というフレーズに精通しています。 「チームスピリット」というフレーズは、心理学者のアーヴィングジャニスによって作成されました。アーヴィングジャニスは、小さなグループの個人が、重要な推論を妨げる共通の幻想を無意識のうちに生成することにより、チームの精神を生み出すことができると理論付けました。干渉は、紛争を恐れ、代わりにお互いに同意する個人によって引き起こされます。ただし、標準から逸脱することは真の価値の源です。独立したスピーチと思考は、どのチーム環境でも大きな利点ですが、スポーツではさらに優れています。その結果、Good Judgement Projectの調査チームは、協力が正確さを改善するかどうかを調査することを選択しました。彼らがこれを達成した方法は、さまざまなグループに割り当てられた予測者を介してオンラインフォーラムを開発することでした。

最初に、調査チームはグループのダイナミクスに関する洞察を提供し、オンライングループにグループ思考のtrapに陥るよう警告しました。最初の1年の調査結果が入り、平均して、グループで働いていた人は、一人で働いていた人よりも23%正確であることを示しました。 2年目、調査チームは、通常の予測者ではなく、SuperforeCastersをグループに入れることを決定し、彼らは通常のグループを大幅にマージンで上回ることを発見しました。ただし、グループのダイナミクスも影響を受けました。スーパーフォーフォーキャスターのエレイン・リッチは、結果に不満を表明しました。誰もが非常に礼儀正しく、反対の見解や反論の批判的な議論はほとんどありませんでした。状況を改善するために、組織は建設的なフィードバックを受け入れたことを実証するために、組織は上記以上に行きました。



この本の最も重要な教訓は、SuperForeCastingはコンピューターや天才に限定されないということです。訓練可能な才能は、収集、スコアキーピング、新しい事実のスピードを維持し、忍耐強い能力を持つ証拠を伴います。実行できるアドバイス:最新の開発に遅れずについていくと、競争の一歩先を行くことになります。 Superforecastersは、通常の予測者よりもはるかに頻繁に予測に重要なニュースをスピードアップしています。変更に注目するための提案の1つは、Googleアラートの使用を介して自分の通知をセットアップすることで、情報を提供し続けることです。これらは、手元の主題に関する新鮮な情報がメールを送信することで利用できるようになるとすぐに通知されます。さらなる読書が推奨されます:マーク・ブキャナンは予測を行います。予測は、理論の主要な欠点を暴露する現代の経済理論に対する批判です。物理学者のマーク・ブキャナンは、私たちの経済的知識を支え、鋭い分析能力を使用して、それらがどのように間違っているかを示している基本的な科学的仮定を慎重に検討します。本の2番目のセクションでは、ブキャナンは、彼の意見では、最終的には現代の経済理論の改善に役立つ多くの科学的ブレークスルーについて議論しています。

ブックを購入 - フィリップE.テトロックとダンガードナーによるスーパーフォーキャスト

によって書かれた BrookPad フィリップ・E・テトロックとダン・ガードナーによるスーパーフォーフォーシングに基づくチーム