The Art and Science of Prediction
Buy book - Superforecasting by Philip E. Tetlock and Dan Gardner
What exactly is the subject of the Superforecasting book?
Superforecasting (2015), based on decades of study and the findings of a large, government-sponsored forecasting tournament, explains how to improve the accuracy of your forecasts, whether you're attempting to foresee changes in the stock market, politics, or your日常生活。
Who is the target audience for the Superforecasting book?
- Those that are interested in learning how forecasting works
- Thinkers who are able to think critically
- Businesspeople that wish to enhance their forecasting abilities
Who are Philip E. Tetlock and Dan Gardner, and what do they do?
Phil Tetlock, the Annenberg University Professor at the University of Pennsylvania, is a political scientist and psychologist who specializes in political psychology. He is the founder and director of the Good Judgment Project, a forecasting research that has resulted in more than 200 papers published in peer-reviewed journals.
Dan Gardner is a journalist, author, and speaker who lives in New York City. Besides being the author of the well acclaimed books Risk: The Science and Politics of Fear and Future Babble, Gardner has also spoken on a variety of topics throughout the world for governments and companies like Google and Siemens.
私にとって正確に何が入っていますか？ Learn how to create accurate predictions by watching this video.
Forecasts and predictions are made on a wide range of topics, including the weather, the stock market, next year's budget, and who will win this weekend's football game, among many others. However, these are not the only topics about which we make predictions. As a result of our obsession with predicting, we get upset when events do not unfold in the manner in which we had anticipated them. So, can predictions be made that are more accurate than they are today? They have the ability. Within a few months, we'll be able to produce superforecasts that are trimmed and realigned with each new piece of information, and then evaluated and improved after the predicted event has occurred. In these notes, we'll look at the difficult but fascinating skill of producing the ultimate predictions, which is both hard and interesting.
Here you'll learn why the former CEO of Microsoft anticipated the iPhone's market share; how a forecaster foretold the autopsy of Yasser Arafat; and why groups of forecasters are more effective than individuals in predicting the future.
Forecasting has certain limits, but that should not be used as an excuse to reject it.
Forecasting is something we do on a regular basis, whether we're planning our next career move or making a financial investment decision. In essence, our predictions are a reflection of our hopes for what the future will bring. Forecasting, on the other hand, is restricted since even small occurrences may have unanticipated effects. We live in a complicated world where even a single individual may cause catastrophic consequences. Take, for example, the Arab Spring. Mohamed Bouazizi, a Tunisian street seller, set himself on fire because he was humiliated by corrupt police officers. This was the beginning of a chain reaction.
そもそもそのような出来事を予測することが困難である理由の理論的理由が存在します。アメリカの気象学者エドワード・ロレンツによると、地球の大気のような非線形システムに関しては、微小な変化でさえ大きな影響を与える可能性があります。カオス理論（蝶効果とも呼ばれます）は、この現象を説明する理論です。いくつかの推定によると、風の方向がわずかな程度で変化する場合、長期の気象パターンは劇的に変化する可能性があります。別の言い方をすれば、ブラジルの蝶の翼のフラップは、竜巻を引き起こしてテキサスを裂くかもしれません。
ただし、予測に限界があるからといって、完全に放棄すべきではありません。たとえば、エドワード・ローレンツの気象領域を考えてみましょう。数日前に気象予測が発行されると、合理的に正確であると見なされる場合があります。なんで？天気予報士がイベント後の予測の精度を評価するという単純な理由から。彼らは、予測を実際の気象条件と比較した結果として、天気がどのように機能するかについてのより良い知識を得ています。しかし、このアプローチの問題は、他の分野の個人が予測の精度をめったに評価しないことです！予測を強化するには、まずその精度を高める必要があります。次に、予測したものと実際に起こることを比較することにもっと真剣になりなければなりません。そして、それは測定への真のコミットメントを必要とします。
あいまいな言語の使用を避け、可能な限り具体的になるように努力してください。
考えてみると、予測を測定することは簡単なように思えます。予測を収集し、その正しさを評価し、計算を行い、出来上がります！ただし、それほど単純ではありません。元の予測の重要性は、正確であるかどうかを決定する前に理解する必要があります。 Microsoft CEOのSteve Ballmerのケースを考えてみましょう。SteveBallmerは、iPhoneがその年の4月に市場のかなりの割合を獲得できないと予測しています。 Appleの時価総額の大きさを考えると、Ballmerの予測は馬鹿げているように見え、人々は実際に彼を笑いました。もう1つの重点点は、Appleが米国のスマートフォン市場の42％を所有していたという事実でした。これは、業界全体の明らかにかなりのシェアです。しかし、ちょっと待って、彼が本当に言ったことを聞いてみましょう。
彼は、はい、iPhoneは多くの収益を上げるかもしれないが、世界の携帯電話市場のかなりの部分を獲得することは決してできないだろうと言った（彼の予測：2〜3パーセント）。代わりに、彼の会社であるMicrosoftによって開発されたソフトウェアは、市場を支配するために成長します。そして、多かれ少なかれ、この予測が実現しました。 2013年の第3四半期に、Garner IT Statisticsによると、iPhoneの世界的な携帯電話販売の世界的なシェアは約6パーセントであり、これはBallmerが予想していたものよりもはるかに多いですが、それほど多くはありません。その間、Microsoftのソフトウェアは、当時世界中で販売されている携帯電話の大部分で利用されていました。また、予測は曖昧な言語の使用を避け、代わりに数値データに依存して精度を向上させる必要があります。
When predicting, it is customary to use ambiguous terms such as "could," "may," or "likely." However, research has shown that individuals attach various interpretations to phrases such as these. In order to communicate probability correctly, forecasters should use percentages or other numerical measures to describe the likelihood of an event. When American intelligence agencies such as the NSA and the CIA stated that Saddam Hussein was concealing weapons of mass destruction, the allegation was shown to be false, it was a catastrophic failure for the United States government. If these intelligence agencies had computed with more accuracy and applied percentages, the United States may not have attacked Iraq in 2003. The odds of Iraq possessing WMDs were 60 percent, but there was still a 40 percent possibility that Saddam didn't have any — a weak rationale for going to war, to put it mildly –
If you wish to increase the accuracy of your predictions, keep track of your results.
So, how can we prevent making catastrophic mistakes like those that occurred with the WMDs? Clearly, we need to improve the accuracy of our predictions. Let's have a look at some of the methods for doing this. The most effective method is to maintain score. To accomplish this, the author's research team created the government-sponsored Good Judgment Project, which drew thousands of volunteers who answered more than one million questions over the period of four years, resulting in the publication of the book. The researchers believed that by utilizing scoring, they would be able to increase forecast accuracy.
Questions such as "Will Tunisia's president escape to a comfortable exile in the next month?" and "Will the euro fall below $1.20 in the next twelve months?" were answered by participants. Afterwards, each forecaster gave a likelihood rating to each participant's forecast, modified it as necessary after reading pertinent news, and, when the predicted time came around, assigned each prediction a Brier score, which indicated how accurate the forecast was. The Brier score, which was named after Glenn W. Brier, is the most often used way of determining the accuracy of a prediction. The lower the number, the more accurate the prediction; for example, a flawless forecast receives a score of one hundred and fifty-one. A random estimate will result in a Brier score of 0.5, while a forecast that is totally incorrect will result in a maximum Brier score of 2.0.
The question that is being asked has an impact on how to interpret the Brier score. Despite the fact that you have a Brier score of 0.2, which seems to be excellent, your prediction may turn out to be disastrous! Let's pretend we're making weather predictions. If the weather in Phoenix, Arizona is constantly hot and sunny, a forecaster could simply anticipate hot and sunny weather and get a Brier score of zero, which is obviously better than a score of 0.2. When it comes to forecasting the weather in Springfield, Missouri, which is known for its unpredictable weather, you would be considered a world-class meteorologist even if your score was just 0.02.
Superforecasters begin by breaking down issues into smaller pieces in order to better understand them.
Is it true that all superforecasters are brilliant thinkers who have access to top-secret intelligence?いいえ、まったくそうではありません。 So, how can they make such precise forecasts about the future, you may wonder. In order to solve a topic, a superforecaster must first break down apparently intractable difficulties into manageable sub-problems. This is referred to as Fermi-style reasoning. Enrico Fermi, a scientist who played a key role in the development of the atomic bomb, was able to predict with remarkable precision things like, for example, the number of piano tuners in Chicago, despite the fact that he did not have a single piece of information at his disposal.
彼は、SuperForecastersが取った最初のステップであるKnowableとUnknownを区別することでこれを達成しました。たとえば、パレスチナ解放機関の長であるヤセル・アラファトが原因不明の理由で亡くなったとき、多くの人々は彼が毒されたと推測しました。しかし、そうではありませんでした。その後、2012年に、研究者は危険なほど大量のポロニウム-210を発見しました。これは、吸入すると致命的である可能性のある放射性物質です。彼が毒されたという理論が牽引力を獲得し、彼の死体はフランスとスイスの両方で発掘され、調査されたというのはこの発見のためでした。科学者が良い判断プロジェクトの一環としてヤッサー・アラファトの身体でポロニウムの量が増加するかどうかを尋ねられたとき、予測者は肯定的に対応しました。ボランティアの予測者であるビル・フラックは、事実を分解して、エンリコ・フェルミのように問題に対処しました。
そもそも、Flackはポロニウムがすぐに減衰することを発見しました。つまり、アラファトが毒された場合、2004年に亡くなったことを考えると、ポロニウムが骨で識別されない可能性があります。テストし、特定の状況で検出できるという結論に達しました。その後、フラックは、アラファトが彼を毒殺したかもしれないパレスチナの敵を持っている可能性と、イスラエルの死を非難するために死後報告が汚染された可能性を考えました。彼は、ポロニウムが60％の確率でアラファトの体で発見されると予測した。彼は正しかったです。その結果、Flackは、より複雑な仮定に進む前に基礎を確立することから始まりました。
外側のビューから始めて、より正確な予測のために内側のビューに切り替えます。
すべてのシナリオは異なるため、スナップの決定を下したり、ケースについて判断を下しすぎたりすることを避ける必要があります。問題に効果的に取り組むためには、基本レートが何であるかを決定することを伴う客観的な視点を採用する必要があります。しかし、それは完全には明らかではありません。説明するために、アメリカ合衆国の小さな家に住んでいるイタリアの家族の状況を考えてください。彼らには2つの仕事があります。父親は簿記係であり、母親は一緒に保育施設でパートタイムで働いています。彼ら自身に加えて、彼らの子供のおばあちゃんも彼らと一緒に家に住んでいます。
このイタリアの家族がペットを獲得する可能性が何であるかを尋ねられた場合、家族や彼らの生活環境の特徴を即座につかむことで見つけようとする可能性があります。ただし、そのような場合はスーパーフォーフォーキャスターとしての資格はありません！スーパーフォーケスターは、詳細を調べることから始めません。代わりに、彼女は、アメリカの家がペットを所有している割合または「基本料金」を見つけることから始めます。彼女はそこから行きます。 Googleの助けを借りて、これが数秒で人口の割合を見つけることができます。これは外からの眺めです。あなたがそれをした後、あなたは内側から物事を見ることができるでしょう。これにより、基本レートを適切に変更できる情報が提供されます。
イタリアの家族の外部の視点から始めて、最初の推定値が提供されます。例によると、家族がペットを持っている可能性は62％です。その後、より正確に取得し、選択した数を変更します。たとえば、ペットを飼っているアメリカのイタリアの世帯の割合を見ることができます。アンカーの概念は、外部の視点の理論的根拠の中心にあります。アンカーは、変更が行われる前に描画される最初の数字です。一方、詳細が小さいことから始めると、アンカーや正確な数値から数千マイル離れている可能性がはるかに高くなります。
元の結論に達した後も最新の状態を維持し、新しい事実に照らして予測を調整してください。
プロセスが開始されると、スーパーフォーキャスターがどのように物事を開始するかを見てきましたが、最初の予測を行ったら、座って正しいかどうかを確認することはできません。新しい知識は、以前の判断の更新と変更を必要とします。ビル・フラックを覚えていますか？最新情報によると、ポロニウムがヤッサー・アラファトの体に見られると予測した後、彼はニュースの時計を維持し、それが必要だと感じたときはいつでも彼の予測を改訂しました。その後、スイスの調査チームは、Flackの最初の予測が何年も前に行われたという事実にもかかわらず、より多くのテストが必要であり、調査結果は後で発表されると主張しました。 Flackはポロニウムに関する広範な研究を行っていたため、チームがポロニウムを発見したことを知っていて、ポロニウムの供給源を決定するためにさらなるテストが必要であることを知っていました。その結果、Flackは予測を65％に増やしました。
結局のところ、スイスのチームはアラファトの遺体でポロニウムを発見し、その結果、フレックの最終的なブライアースコアは0.36ポイントになりました。質問の複雑さを考えると、これは素晴らしいパフォーマンスです。ただし、注意する必要があります。新しい知識は有益かもしれませんが、誤解されている場合にも有害である可能性があります。 1つの例によると、米国政府のIntelligence Divanced Research Projects活動（IARPA）は、2014年9月15日に前年よりも北極海氷が少なくなるかどうかを尋ねました。スーパーフォーフォーキャスターのダグ・ローチは、応答が肯定的であるという55％の確率があるという結論に達しました。一方、Lorchは、彼の予測を90％から95％に引き上げるのに十分な影響を与えた海氷予測ネットワークから1か月前のレポートを受け取りました。
2014年9月15日が最終的に到着したとき、前年よりも多くの北極氷がありました。 Lorchの最初の予測により、これは45％の発生の可能性を与えましたが、彼の修正後、可能性はわずか5％に低下しました。巧みな更新を行うには、繊細なニュアンスを不必要な情報から分離する必要があります。意見を変えることを怖がらないでください。しかし、決定を下す前に、新鮮な知識が役立つかどうかについて慎重に考えてください。
グループでの作業は、予測に有益である場合がありますが、正しく行われた場合のみです。
おそらく、あなたは「GroupThink」というフレーズに精通しています。 「チームスピリット」というフレーズは、心理学者のアーヴィングジャニスによって作成されました。アーヴィングジャニスは、小さなグループの個人が、重要な推論を妨げる共通の幻想を無意識のうちに生成することにより、チームの精神を生み出すことができると理論付けました。干渉は、紛争を恐れ、代わりにお互いに同意する個人によって引き起こされます。ただし、標準から逸脱することは真の価値の源です。独立したスピーチと思考は、どのチーム環境でも大きな利点ですが、スポーツではさらに優れています。その結果、Good Judgement Projectの調査チームは、協力が正確さを改善するかどうかを調査することを選択しました。彼らがこれを達成した方法は、さまざまなグループに割り当てられた予測者を介してオンラインフォーラムを開発することでした。
最初に、調査チームはグループのダイナミクスに関する洞察を提供し、オンライングループにグループ思考のtrapに陥るよう警告しました。最初の1年の調査結果が入り、平均して、グループで働いていた人は、一人で働いていた人よりも23％正確であることを示しました。 2年目、調査チームは、通常の予測者ではなく、SuperforeCastersをグループに入れることを決定し、彼らは通常のグループを大幅にマージンで上回ることを発見しました。ただし、グループのダイナミクスも影響を受けました。スーパーフォーフォーキャスターのエレイン・リッチは、結果に不満を表明しました。誰もが非常に礼儀正しく、反対の見解や反論の批判的な議論はほとんどありませんでした。状況を改善するために、組織は建設的なフィードバックを受け入れたことを実証するために、組織は上記以上に行きました。
個人が自分の議論を再考するように促す精度の質問は、コラボレーションパフォーマンスを改善するためのもう1つのテクニックです。もちろん、これは新しい概念ではありません。もちろん、偉大なインストラクターはソクラテスとギリシャ人の時代から正確な質問を実践してきたからです。精度の調査には、特定の単語の意味を求めることによって、議論の詳細をさらに掘り下げることが必要です。このテーマに関する意見の大きな違いがあったとしても、この尋問は、追加の研究への扉を開く結論の背後にある理由を明らかにします。
本全体の概要全体。
この本の最も重要な教訓は、SuperForeCastingはコンピューターや天才に限定されないということです。訓練可能な才能は、収集、スコアキーピング、新しい事実のスピードを維持し、忍耐強い能力を持つ証拠を伴います。実行できるアドバイス：最新の開発に遅れずについていくと、競争の一歩先を行くことになります。 Superforecastersは、通常の予測者よりもはるかに頻繁に予測に重要なニュースをスピードアップしています。変更に注目するための提案の1つは、Googleアラートの使用を介して自分の通知をセットアップすることで、情報を提供し続けることです。これらは、手元の主題に関する新鮮な情報がメールを送信することで利用できるようになるとすぐに通知されます。さらなる読書が推奨されます：マーク・ブキャナンは予測を行います。予測は、理論の主要な欠点を暴露する現代の経済理論に対する批判です。物理学者のマーク・ブキャナンは、私たちの経済的知識を支え、鋭い分析能力を使用して、それらがどのように間違っているかを示している基本的な科学的仮定を慎重に検討します。本の2番目のセクションでは、ブキャナンは、彼の意見では、最終的には現代の経済理論の改善に役立つ多くの科学的ブレークスルーについて議論しています。
ブックを購入 - フィリップE.テトロックとダンガードナーによるスーパーフォーキャスト
によって書かれた BrookPad フィリップ・E・テトロックとダン・ガードナーによるスーパーフォーフォーシングに基づくチーム