The Art and Science of Prediction
Buy book - Superforecasting by Philip E. Tetlock and Dan Gardner
What exactly is the subject of the Superforecasting book?
Superforecasting (2015), based on decades of study and the findings of a large, government-sponsored forecasting tournament, explains how to improve the accuracy of your forecasts, whether you're attempting to foresee changes in the stock market, politics, or your everyday life.
Who is the target audience for the Superforecasting book?
- Those that are interested in learning how forecasting works
- Thinkers who are able to think critically
- Businesspeople that wish to enhance their forecasting abilities
Who are Philip E. Tetlock and Dan Gardner, and what do they do?
Phil Tetlock, the Annenberg University Professor at the University of Pennsylvania, is a political scientist and psychologist who specializes in political psychology. He is the founder and director of the Good Judgment Project, a forecasting research that has resulted in more than 200 papers published in peer-reviewed journals.
Dan Gardner is a journalist, author, and speaker who lives in New York City. Besides being the author of the well acclaimed books Risk: The Science and Politics of Fear and Future Babble, Gardner has also spoken on a variety of topics throughout the world for governments and companies like Google and Siemens.
Hva er egentlig i det for meg? Learn how to create accurate predictions by watching this video.
Forecasts and predictions are made on a wide range of topics, including the weather, the stock market, next year's budget, and who will win this weekend's football game, among many others. However, these are not the only topics about which we make predictions. As a result of our obsession with predicting, we get upset when events do not unfold in the manner in which we had anticipated them. So, can predictions be made that are more accurate than they are today? They have the ability. Within a few months, we'll be able to produce superforecasts that are trimmed and realigned with each new piece of information, and then evaluated and improved after the predicted event has occurred. In these notes, we'll look at the difficult but fascinating skill of producing the ultimate predictions, which is both hard and interesting.
Here you'll learn why the former CEO of Microsoft anticipated the iPhone's market share; how a forecaster foretold the autopsy of Yasser Arafat; and why groups of forecasters are more effective than individuals in predicting the future.
Forecasting has certain limits, but that should not be used as an excuse to reject it.
Forecasting is something we do on a regular basis, whether we're planning our next career move or making a financial investment decision. In essence, our predictions are a reflection of our hopes for what the future will bring. Forecasting, on the other hand, is restricted since even small occurrences may have unanticipated effects. We live in a complicated world where even a single individual may cause catastrophic consequences. Take, for example, the Arab Spring. Mohamed Bouazizi, a Tunisian street seller, set himself on fire because he was humiliated by corrupt police officers. This was the beginning of a chain reaction.
En teoretisk grunn eksisterer for hvorfor det er vanskelig å forutse slike forekomster i utgangspunktet. Når det gjelder ikke -lineære systemer som jordens atmosfære, kan til og med små endringer ha en betydelig innflytelse, ifølge den amerikanske meteorologen Edward Lorenz. Chaos Theory (også kjent som sommerfugleffekten) er teorien som forklarer dette fenomenet. Hvis vindens retning endres med mindre enn en brøkdel av en grad, kan de langsiktige værmønstrene endres dramatisk, ifølge noen estimater. For å si det på en annen måte, kan klaffen til en sommerfugl vinge i Brasil utløse en tornado for å rive over Texas.
Imidlertid, bare fordi forutsigelsen har sine grenser, bør vi ikke forlate det helt. Ta for eksempel Edward Lorenz sitt meteorologi. Når værforutsigelser utstedes noen dager i forveien, kan de anses som rimelig nøyaktige. Hvorfor? Av den enkle grunnen til at værmeldinger vurderer nøyaktigheten av spådommene etter hendelsen. De får bedre kunnskap om hvordan været fungerer som et resultat av å sammenligne spådommen med de faktiske værforholdene. Men problemet med denne tilnærmingen er at individer i andre områder sjelden evaluerer nøyaktigheten av deres spådommer! For å forbedre prognosen vår, må vi først øke nøyaktigheten, og da må vi bli mer seriøse med å sammenligne det vi spådde med det som virkelig foregår. Og det nødvendiggjør en ekte forpliktelse til måling.
Unngå å bruke tvetydig språk og strebe etter å være så spesifikk som mulig.
Hvis du tenker på det, virker det å måle spådommer som en ikke-brainer: samle prognosene, evaluere deres korrekthet, gjør beregningene og voila! Det er imidlertid ikke så enkelt i det hele tatt. Betydningen av den opprinnelige prediksjonen må forstås før den kan bestemmes om den var nøyaktig. Tenk på saken om Microsoft -administrerende direktør Steve Ballmer, som spådde at iPhone ville ikke få en betydelig andel av markedet i april samme år. Når du vurderer størrelsen på Apples markedsverdi, virket Ballmers prediksjon latterlig, og folk lo faktisk av ham. Et annet vektlegging var det faktum at Apple eide 42 prosent av det amerikanske smarttelefonmarkedet, som er en åpenbart betydelig andel av den samlede industrien. Men vent litt, la oss høre på det han virkelig sa.
Han sa at ja, iPhone kan tjene mye inntekter, men at den aldri ville være i stand til å fange en betydelig del av det verdensomspennende mobiltelefonmarkedet (hans spådom: mellom to og tre prosent). I stedet ville programvaren utviklet av firmaet hans, Microsoft, vokse til å dominere markedet. Og i større eller mindre grad gikk denne prognosen i oppfyllelse. I tredje kvartal 2013, ifølge Garner IT -statistikk, svevde iPhone's verdensomspennende andel av salget av mobiltelefoner rundt seks prosent, noe som er mye mer enn det Ballmer forventet - men ikke så mye. I mellomtiden ble Microsofts programvare brukt i de aller fleste mobiltelefoner som ble solgt over hele kloden den gangen. Prognoser bør også unngå å bruke tvetydig språk og i stedet stole på numeriske data for å forbedre nøyaktigheten.
When predicting, it is customary to use ambiguous terms such as "could," "may," or "likely." However, research has shown that individuals attach various interpretations to phrases such as these. In order to communicate probability correctly, forecasters should use percentages or other numerical measures to describe the likelihood of an event. When American intelligence agencies such as the NSA and the CIA stated that Saddam Hussein was concealing weapons of mass destruction, the allegation was shown to be false, it was a catastrophic failure for the United States government. If these intelligence agencies had computed with more accuracy and applied percentages, the United States may not have attacked Iraq in 2003. The odds of Iraq possessing WMDs were 60 percent, but there was still a 40 percent possibility that Saddam didn't have any — a weak rationale for going to war, to put it mildly –
If you wish to increase the accuracy of your predictions, keep track of your results.
So, how can we prevent making catastrophic mistakes like those that occurred with the WMDs? Clearly, we need to improve the accuracy of our predictions. Let's have a look at some of the methods for doing this. The most effective method is to maintain score. To accomplish this, the author's research team created the government-sponsored Good Judgment Project, which drew thousands of volunteers who answered more than one million questions over the period of four years, resulting in the publication of the book. The researchers believed that by utilizing scoring, they would be able to increase forecast accuracy.
Questions such as "Will Tunisia's president escape to a comfortable exile in the next month?" and "Will the euro fall below $1.20 in the next twelve months?" were answered by participants. Afterwards, each forecaster gave a likelihood rating to each participant's forecast, modified it as necessary after reading pertinent news, and, when the predicted time came around, assigned each prediction a Brier score, which indicated how accurate the forecast was. The Brier score, which was named after Glenn W. Brier, is the most often used way of determining the accuracy of a prediction. The lower the number, the more accurate the prediction; for example, a flawless forecast receives a score of one hundred and fifty-one. A random estimate will result in a Brier score of 0.5, while a forecast that is totally incorrect will result in a maximum Brier score of 2.0.
The question that is being asked has an impact on how to interpret the Brier score. Despite the fact that you have a Brier score of 0.2, which seems to be excellent, your prediction may turn out to be disastrous! Let's pretend we're making weather predictions. If the weather in Phoenix, Arizona is constantly hot and sunny, a forecaster could simply anticipate hot and sunny weather and get a Brier score of zero, which is obviously better than a score of 0.2. When it comes to forecasting the weather in Springfield, Missouri, which is known for its unpredictable weather, you would be considered a world-class meteorologist even if your score was just 0.02.
Superforecasters begin by breaking down issues into smaller pieces in order to better understand them.
Is it true that all superforecasters are brilliant thinkers who have access to top-secret intelligence? Nei ikke i det hele tatt. So, how can they make such precise forecasts about the future, you may wonder. In order to solve a topic, a superforecaster must first break down apparently intractable difficulties into manageable sub-problems. This is referred to as Fermi-style reasoning. Enrico Fermi, a scientist who played a key role in the development of the atomic bomb, was able to predict with remarkable precision things like, for example, the number of piano tuners in Chicago, despite the fact that he did not have a single piece of information at his disposal.
He accomplished this by distinguishing between the knowable and the unknown, which is the first step taken by superforecasters. For example, when Yasser Arafat, the head of the Palestine Liberation Organization, died of an unexplained reason, many people speculated that he had been poisoned. But this was not the case. Then, in 2012, researchers discovered dangerously high amounts of polonium-210 — a radioactive substance that may be deadly if inhaled – in his possessions. It was because of this finding that the theory that he had been poisoned gained traction, and his corpse was excavated and examined in both France and Switzerland. When asked if scientists would discover increased amounts of polonium in Yasser Arafat's body as part of the Good Judgment Project, forecasters responded affirmatively. Bill Flack, a volunteer forecaster, addressed the issue in the manner of Enrico Fermi, breaking down the facts.
In the first place, Flack discovered that Polonium decays quickly, which meant that if Arafat had been poisoned, there was a good possibility that the polonium would not be identified in his bones, given that he passed away in 2004. Flack conducted study on polonium testing and came to the conclusion that it could be detected in certain circumstances. Later, Flack considered the possibility that Arafat had Palestinian adversaries who might have poisoned him, as well as the possibility that the postmortem report had been tainted in order to blame Israel for his death. He predicted that polonium would be discovered in Arafat's body with a 60 percent probability. Han hadde rett. As a result, Flack began by establishing the fundamentals before moving on to the more complex assumptions, which is exactly what a good forecaster would do.
Start with the outer view and then switch to the inner view for a more precise prediction.
Because every scenario is different, you should avoid making snap decisions and passing judgment on a case too soon. In order to tackle any issue effectively, it is necessary to adopt an objective perspective, which involves determining what the base rate is. That is, however, not entirely clear. To illustrate, consider the situation of an Italian family that lives in a small home in the United States of America. They have two jobs: the father is a bookkeeper and the mother works part-time at a childcare facility together. In addition to themselves, their child's grandma also lives in the home with them.
It's possible that if you were asked what the odds were that this Italian family would acquire a pet, you'd attempt to find out by instantly grabbing on to the characteristics of the family or their living circumstances. However, you would not qualify as a superforecaster in such case! A superforecaster would not begin by examining the specifics. Instead, she would start by finding out what proportion, or "base rate," of American homes own a pet. She would then go from there. With the help of Google, you might find out what percentage of the population this is in a couple of seconds. This is the view from the outside. After you've done that, you'll be able to see things from the inside. This will provide you with information that will allow you to modify the base rate appropriately.
Starting with the outside perspective of the Italian family provides a first estimate: there is a 62 percent probability that the family has a pet, according to the example. After that, you get more precise and modify the number you've chosen. For example, you might look at the percentage of Italian households in America who keep a pet. The notion of anchoring is at the heart of the rationale for the outside perspective. An anchor is the first figure that is drawn before any modifications are made. If, on the other hand, you start with the smaller details, your forecast is far more likely to be thousands of miles away from any anchor or exact figure.
Fortsett å holde deg oppdatert selv etter å ha kommet til din opprinnelige konklusjon, og gjør justeringer av spådommene dine i lys av nye fakta.
Når prosessen har begynt, har vi sett hvordan superforecasters får ting i gang, men når du har laget din første prognose, kan du ikke bare lene deg tilbake og se om du hadde rett. Enhver ny kunnskap krever oppdatering og modifisering av din tidligere skjønn. Husker du Bill Flack? Etter å ha spådd at polonium ble funnet i Yasser Arafats kropp, opprettholdt han en klokke på nyhetene og reviderte spådommen hver gang han følte at det var nødvendig, ifølge den siste informasjonen. Det sveitsiske studieteamet hevdet da at mer testing var nødvendig, og at funnene ville bli kunngjort senere, til tross for at Flacks første spådom hadde blitt gjort år tidligere. Fordi Flack hadde gjort omfattende studier på polonium, var han klar over at teamet hadde oppdaget polonium og at ytterligere tester var nødvendig for å bestemme kilden til poloniet. Som et resultat økte Flack spådommen til 65 prosent.
Da det viste seg, oppdaget det sveitsiske teamet Polonium i Arafats kropp, noe som resulterte i Flecks endelige Brier -poengsum på 0,36 poeng. Gitt kompleksiteten i spørsmålet, er dette en enestående ytelse. Du må imidlertid utøve forsiktighet. Selv om ny kunnskap kan være gunstig, kan den også være skadelig hvis den blir tolket feil. I følge ett eksempel spurte den etterretningsansvarlige forskningsprosjekter aktivitet (IARPA) fra USAs regjering om det ville være mindre arktisk havis 15. september 2014, enn det hadde vært året før. Doug Lorch, en Superforecaster, kom til den konklusjon at det var en sannsynlighet på 55 prosent om at responsen ville være bekreftende. Lorch mottok derimot en måned gammel rapport fra Sea Ice-prognosenettverket som påvirket ham tilstrekkelig til å øke spådommen fra 90 prosent til 95 prosent, et betydelig skifte basert på et enkelt stykke informasjon.
Da 15. september 2014, til slutt ankom, var det mer arktisk is enn det hadde vært året før. Lorchs første spådom ga dette en sjanse på 45 prosent for å oppstå, men etter hans revisjon falt sannsynligheten for en liten fem prosent. Det er nødvendig å skille delikate nyanser fra unødvendig informasjon for å gjøre dyktig oppdatering. Ikke vær redd for å endre din mening, men tenk nøye på om fersk kunnskap er nyttig eller ikke før du tar en beslutning.
Å jobbe i grupper kan være gunstig når det gjelder forutsi, men bare hvis det gjøres riktig.
Kanskje du er kjent med uttrykket "gruppetenk." Uttrykket "Team Spirit" ble opprettet av psykolog Irving Janis, som teoretiserte at individer i små grupper kan generere teamånd ved ubevisst å generere vanlige illusjoner som forstyrrer kritisk resonnement. Interferens er forårsaket av individer som er redde for konflikt og i stedet bare er enige med hverandre. Å avvike fra normen er imidlertid en kilde til ekte verdi. Uavhengig tale og tenking er store fordeler i ethvert lagmiljø, men mer i idrett. Som et resultat valgte studieteamet ved Good Judgment Project å undersøke om samarbeid kan forbedre nøyaktigheten eller ikke. Måten de oppnådde dette på var ved å utvikle nettfora via som prognoser som ble tildelt forskjellige grupper, kunne samhandle med hverandre.
Til å begynne med tilbød studieteamet innsikt i gruppedynamikken og advarte online -gruppene mot å falle i fellen av gruppetenk. Det første års funn kom inn, og de viste at de som i gjennomsnitt jobbet i grupper var 23 prosent mer nøyaktige enn de som jobbet alene. Det andre året bestemte studieteamet seg for å sette superforecasters i grupper i stedet for vanlige prognoser, og de oppdaget at de overgikk de vanlige gruppene med en betydelig margin. Imidlertid ble dynamikken i gruppen også påvirket. Elaine Rich, en superforfester, uttrykte misnøye med utfallet. Alle var veldig høflige, og det var liten kritisk debatt om motstridende synspunkter eller motargumenter. I et forsøk på å avhjelpe situasjonen gikk organisasjonene over og over for å demonstrere at de godtok konstruktive tilbakemeldinger.
Presisjonsspørsmål, som presser enkeltpersoner til å vurdere argumentene sine på nytt, er en annen teknikk for å forbedre samarbeidsytelsen. Dette er selvfølgelig ikke et nytt konsept, siden store instruktører har praktisert presise avhør siden Sokrates og grekerne. Presisjonshenvendelse innebærer å dykke videre i detaljene i et argument, for som ved å be om betydningen av et visst ord. Selv om det er sterke meningsforskjeller om emnet, avslører dette avhøret resonnementet bak konklusjonen, som åpner døren for ytterligere forskning.
Sammendrag av boken Superforecasting i sin helhet.
Den viktigste leksjonen i denne boken er at superforcasting ikke er begrenset til datamaskiner eller genier. Et trenbart talent, det innebærer bevisinnsamling, scorekeeping, holder seg oppe på nye fakta og har muligheten til å være tålmodig. Råd som kan settes ut i verk: Å følge med den siste utviklingen gir deg et skritt foran konkurransen. Superforecasters holder seg oppe på nyheter som er viktig for deres spådommer på langt hyppigere basis enn vanlige prognoser. Et forslag for å følge med på endringer er å sette opp varsler for deg selv, for eksempel via bruk av Google Alerts, for å holde deg informert. Disse vil varsle deg så snart fersk informasjon om emnet er gjort tilgjengelig ved å sende deg en e -post. Ytterligere lesing anbefales: Mark Buchanan gjør en prognose. Prognose er en kritikk av samtidens økonomiske teori som avslører hovedfeilene i teorien. Mark Buchanan, en fysiker, tar en nøye titt på de grunnleggende vitenskapelige forutsetningene som understøtter vår økonomiske kunnskap, og bruker ivrige analytiske evner, demonstrerer hvordan de er feil. I den andre delen av boken diskuterer Buchanan en rekke vitenskapelige gjennombrudd som etter hans mening til slutt ville hjelpe til med forbedring av samtidens økonomiske teori.
Kjøp bok - Superforecasting av Philip E. Tetlock og Dan Gardner
Skrevet av BrookPad Team basert på superforecasting av Philip E. Tetlock og Dan Gardner