The Art and Science of Prediction
Buy book - Superforecasting by Philip E. Tetlock and Dan Gardner
What exactly is the subject of the Superforecasting book?
Superforecasting (2015), based on decades of study and the findings of a large, government-sponsored forecasting tournament, explains how to improve the accuracy of your forecasts, whether you're attempting to foresee changes in the stock market, politics, or your alledaagse leven.
Who is the target audience for the Superforecasting book?
- Those that are interested in learning how forecasting works
- Thinkers who are able to think critically
- Businesspeople that wish to enhance their forecasting abilities
Who are Philip E. Tetlock and Dan Gardner, and what do they do?
Phil Tetlock, the Annenberg University Professor at the University of Pennsylvania, is a political scientist and psychologist who specializes in political psychology. He is the founder and director of the Good Judgment Project, a forecasting research that has resulted in more than 200 papers published in peer-reviewed journals.
Dan Gardner is a journalist, author, and speaker who lives in New York City. Besides being the author of the well acclaimed books Risk: The Science and Politics of Fear and Future Babble, Gardner has also spoken on a variety of topics throughout the world for governments and companies like Google and Siemens.
Wat zit er precies voor mij in? Learn how to create accurate predictions by watching this video.
Forecasts and predictions are made on a wide range of topics, including the weather, the stock market, next year's budget, and who will win this weekend's football game, among many others. However, these are not the only topics about which we make predictions. As a result of our obsession with predicting, we get upset when events do not unfold in the manner in which we had anticipated them. So, can predictions be made that are more accurate than they are today? They have the ability. Within a few months, we'll be able to produce superforecasts that are trimmed and realigned with each new piece of information, and then evaluated and improved after the predicted event has occurred. In these notes, we'll look at the difficult but fascinating skill of producing the ultimate predictions, which is both hard and interesting.
Here you'll learn why the former CEO of Microsoft anticipated the iPhone's market share; how a forecaster foretold the autopsy of Yasser Arafat; and why groups of forecasters are more effective than individuals in predicting the future.
Forecasting has certain limits, but that should not be used as an excuse to reject it.
Forecasting is something we do on a regular basis, whether we're planning our next career move or making a financial investment decision. In essence, our predictions are a reflection of our hopes for what the future will bring. Forecasting, on the other hand, is restricted since even small occurrences may have unanticipated effects. We live in a complicated world where even a single individual may cause catastrophic consequences. Take, for example, the Arab Spring. Mohamed Bouazizi, a Tunisian street seller, set himself on fire because he was humiliated by corrupt police officers. This was the beginning of a chain reaction.
Er bestaat een theoretische reden waarom het moeilijk is om in de eerste plaats op dergelijke gebeurtenissen te anticiperen. Als het gaat om niet -lineaire systemen zoals de atmosfeer van de aarde, kunnen zelfs minutenveranderingen een significante invloed hebben, volgens de Amerikaanse meteoroloog Edward Lorenz. Chaos -theorie (ook bekend als het vlindereffect) is de theorie die dit fenomeen verklaart. Als de richting van de wind met minder dan een fractie van een graad verandert, kunnen de langetermijnweerpatronen volgens sommige schattingen dramatisch worden gewijzigd. Anders gezegd, de flap van de vleugel van een vlinder in Brazilië kan een tornado veroorzaken om over Texas te scheuren.
Alleen omdat het voorspellen zijn grenzen heeft, moeten we het echter niet helemaal verlaten. Neem bijvoorbeeld het gebied van meteorologie van Edward Lorenz. Wanneer weersvoorspellingen enkele dagen van tevoren worden uitgegeven, kunnen ze als redelijk nauwkeurig worden beschouwd. Waarom? Om de eenvoudige reden dat weersvoorspellers de nauwkeurigheid van hun voorspellingen na het evenement beoordelen. Ze krijgen een betere kennis van hoe het weer werkt als gevolg van het vergelijken van hun voorspelling met de feitelijke weersomstandigheden. Maar het probleem met deze aanpak is dat individuen op andere gebieden zelden de nauwkeurigheid van hun voorspellingen evalueren! Om onze voorspelling te verbeteren, moeten we eerst de nauwkeurigheid ervan vergroten, en dan moeten we serieuzer worden over het vergelijken van wat we hebben voorspeld met wat er echt gebeurt. En het vereist een oprechte toewijding aan meting.
Vermijd het gebruik van dubbelzinnige taal en streef ernaar om zo specifiek mogelijk te zijn.
Als je erover nadenkt, lijkt het meten van voorspellingen een no-brainer: verzamel de voorspellingen, evalueer hun juistheid, doe de berekeningen en voila! Het is echter helemaal niet zo eenvoudig. De betekenis van de oorspronkelijke voorspelling moet worden begrepen voordat kan worden vastgesteld of deze al dan niet nauwkeurig was. Overweeg het geval van Microsoft CEO Steve Ballmer, die voorspelde dat de iPhone in april van dat jaar geen aanzienlijk deel van de markt zou krijgen. Wanneer je de omvang van de marktkapitalisatie van Apple overweegt, leek de voorspelling van Ballmer belachelijk en lachten mensen hem eigenlijk uit. Een ander punt van nadruk was het feit dat Apple 42 procent van de Amerikaanse smartphonemarkt bezat, wat een duidelijk aanzienlijk aandeel is in de totale industrie. Maar wacht even, laten we luisteren naar wat hij echt zei.
Hij zei dat, ja, de iPhone misschien veel inkomsten verdient, maar dat het nooit in staat zou zijn om een aanzienlijk deel van de wereldwijde markt voor mobiele telefoons te veroveren (zijn voorspelling: tussen twee en drie procent). In plaats daarvan zou de door zijn bedrijf ontwikkelde software, Microsoft, de markt domineren. En in meer of mindere mate kwam deze voorspelling uit. In het derde kwartaal van 2013 hing volgens Garner IT -statistieken het wereldwijde aandeel van de iPhone van de verkoop van mobiele telefoons rond zes procent, wat veel meer is dan wat Ballmer verwachtte - maar niet zo veel. Ondertussen werd de software van Microsoft gebruikt in de overgrote meerderheid van de mobiele telefoons die destijds over de hele wereld werden verkocht. Voorspellingen moeten ook voorkomen dat u dubbelzinnige taal gebruikt en in plaats daarvan vertrouwen op numerieke gegevens om de nauwkeurigheid te verbeteren.
Bij het voorspellen is het gebruikelijk om dubbelzinnige termen te gebruiken, zoals "konden", "mei" of "waarschijnlijk". Onderzoek heeft echter aangetoond dat individuen verschillende interpretaties hechten aan zinnen zoals deze. Om waarschijnlijkheid correct te communiceren, moeten voorspellers percentages of andere numerieke maatregelen gebruiken om de waarschijnlijkheid van een gebeurtenis te beschrijven. Toen Amerikaanse inlichtingendiensten zoals de NSA en de CIA verklaarden dat Saddam Hussein massavernietigingswapens verborg, bleek de bewering vals te zijn, het was een catastrofaal falen voor de regering van de Verenigde Staten. Als deze inlichtingendiensten met meer nauwkeurigheid en toegepaste percentages hadden berekend, hebben de Verenigde Staten in 2003 mogelijk Irak misschien niet aangevallen. Een zwakke reden om oorlog te voeren, op zijn zachtst gezegd -
Als u de nauwkeurigheid van uw voorspellingen wilt vergroten, houdt u uw resultaten bij.
Dus, hoe kunnen we voorkomen dat het maken van catastrofale fouten zoals die die zich hebben voorgedaan met de WMD's? Het is duidelijk dat we de nauwkeurigheid van onze voorspellingen moeten verbeteren. Laten we eens kijken naar enkele van de methoden om dit te doen. De meest effectieve methode is om de score te behouden. Om dit te bereiken, creëerde het onderzoeksteam van de auteur het door de overheid gesponsorde Good Aording-project, dat duizenden vrijwilligers trok die meer dan een miljoen vragen beantwoordden gedurende de periode van vier jaar, wat resulteerde in de publicatie van het boek. De onderzoekers geloofden dat ze door gebruik te maken van scoren, in staat zouden zijn om de nauwkeurigheid van de voorspelling te vergroten.
Vragen als "Zal de president van Tunesië de komende maand naar een comfortabele ballingschap ontsnappen?" en "Zal de euro in de komende twaalf maanden onder de $ 1,20 vallen?" werden beantwoord door deelnemers. Nadien gaf elke voorspeller een waarschijnlijkheidsbeoordeling aan de voorspelling van elke deelnemer, aangepast als nodig na het lezen van relevant nieuws en, toen de voorspelde tijd kwam, gaf elke voorspelling een Brier -score toe, wat aangaf hoe nauwkeurig de voorspelling was. De Brier -score, vernoemd naar Glenn W. Brier, is de meest gebruikte manier om de nauwkeurigheid van een voorspelling te bepalen. Hoe lager het nummer, hoe nauwkeuriger de voorspelling; Een vlekkeloze voorspelling ontvangt bijvoorbeeld een score van honderd eenenvijftig. Een willekeurige schatting zal resulteren in een brierscore van 0,5, terwijl een volledig onjuiste voorspelling zal resulteren in een maximale brierscore van 2,0.
De vraag die wordt gesteld heeft een impact op het interpreteren van de Brier -score. Ondanks het feit dat je een Brier -score van 0,2 hebt, wat uitstekend lijkt, kan je voorspelling rampzalig blijken te zijn! Laten we doen alsof we weersvoorspellingen doen. Als het weer in Phoenix, Arizona constant heet en zonnig is, kan een voorspeller gewoon anticiperen op warm en zonnig weer en een brier score van nul krijgen, wat duidelijk beter is dan een score van 0,2. Als het gaat om het voorspellen van het weer in Springfield, Missouri, dat bekend staat om zijn onvoorspelbare weer, zou je worden beschouwd als een meteoroloog van wereldklasse, zelfs als je score slechts 0,02 was.
Superforecasters beginnen met het afbreken van problemen in kleinere stukken om ze beter te begrijpen.
Is het waar dat alle Superforecasters briljante denkers zijn die toegang hebben tot topgeheime intelligentie? Nee helemaal niet. Dus, hoe kunnen ze zulke precieze voorspellingen over de toekomst doen, je kunt je afvragen. Om een onderwerp op te lossen, moet een Superforecaster eerst blijkbaar onhandelbare moeilijkheden in beheersbare sub-problemen afbreken. Dit wordt Fermi-stijl redeneren genoemd. Enrico Fermi, een wetenschapper die een sleutelrol speelde bij de ontwikkeling van de atoombom, was in staat om met opmerkelijke precisie dingen te voorspellen, zoals bijvoorbeeld het aantal pianotuners in Chicago, ondanks het feit dat hij geen enkel stuk had van informatie tot zijn beschikking.
Hij heeft dit bereikt door onderscheid te maken tussen het kenbare en het onbekende, de eerste stap die Superforecasters heeft genomen. Toen Yasser Arafat, het hoofd van de Palestijnse bevrijdingsorganisatie, bijvoorbeeld stierf aan een onverklaarbare reden, speculeerden veel mensen dat hij vergiftigd was. Maar dit was niet het geval. Vervolgens ontdekten onderzoekers in 2012 gevaarlijk grote hoeveelheden polonium-210-een radioactieve stof die dodelijk kan zijn als ze worden ingeademd-in zijn bezittingen. Het was vanwege deze bevinding dat de theorie dat hij vergiftigd was geworden, en zijn lijk werd opgegraven en onderzocht in zowel Frankrijk als Zwitserland. Op de vraag of wetenschappers verhoogde hoeveelheden polonium in het lichaam van Yasser Arafat zouden ontdekken als onderdeel van het Goede oordeelproject, reageerden voorspellers bevestigend. Bill Flack, een vrijwillige voorspeller, behandelde de kwestie op de manier van Enrico Fermi en bracht de feiten af.
In de eerste plaats ontdekte Flack dat polonium snel vervalt, wat betekende dat als Arafat was vergiftigd, er een goede mogelijkheid was dat het polonium niet in zijn botten zou worden geïdentificeerd, gezien het feit dat hij in 2004 stierf. Testen en kwam tot de conclusie dat het in bepaalde omstandigheden kon worden gedetecteerd. Later beschouwde Flack de mogelijkheid dat Arafat Palestijnse tegenstanders had die hem misschien hebben vergiftigd, evenals de mogelijkheid dat het postmortale rapport was besmet om Israël de schuld te geven van zijn dood. Hij voorspelde dat polonium in het lichaam van Arafat zou worden ontdekt met een kans van 60 procent. Hij had gelijk. Als gevolg hiervan begon Flack met het vestigen van de basisprincipes voordat hij verder ging met de meer complexe veronderstellingen, wat precies is wat een goede voorspeller zou doen.
Begin met de buitenste weergave en schakel vervolgens over naar de binnenweergave voor een preciezere voorspelling.
Omdat elk scenario anders is, moet u vermijden om snapbeslissingen te nemen en te snel een oordeel te vellen over een zaak. Om elk probleem effectief aan te pakken, is het noodzakelijk om een objectief perspectief aan te nemen, wat inhoudt dat het basistarief is. Dat is echter niet helemaal duidelijk. Om te illustreren, overweeg de situatie van een Italiaans gezin dat in een klein huis in de Verenigde Staten van Amerika woont. Ze hebben twee banen: de vader is een boekhouder en de moeder werkt parttime bij een kinderopvang. Naast zichzelf woont de oma van hun kind ook bij hen in het huis.
Het is mogelijk dat als je werd gevraagd wat de kans was dat deze Italiaanse familie een huisdier zou verwerven, je zou proberen erachter te komen door onmiddellijk de kenmerken van het gezin of hun levensomstandigheden te grijpen. In dat geval zou u echter niet in aanmerking komen als een superforecaster! Een Superforecaster zou niet beginnen met het onderzoeken van de details. In plaats daarvan zou ze beginnen met het ontdekken van welke verhouding, of 'basistarief' van Amerikaanse huizen een huisdier bezit. Ze zou dan vanaf daar gaan. Met de hulp van Google kom je misschien erachter welk percentage van de bevolking dit is in een paar seconden. Dit is het uitzicht van buitenaf. Nadat je dat hebt gedaan, kun je dingen van binnenuit zien. Hiermee wordt u informatie verstrekt waarmee u de basistarief op de juiste manier kunt wijzigen.
Beginnend met het externe perspectief van de Italiaanse familie geeft een eerste schatting: er is een kans van 62 procent dat de familie een huisdier heeft, volgens het voorbeeld. Daarna wordt u nauwkeuriger en wijzigt u het nummer dat u hebt gekozen. U kunt bijvoorbeeld kijken naar het percentage Italiaanse huishoudens in Amerika die een huisdier houden. Het idee van verankering vormt de kern van de reden voor het externe perspectief. Een anker is de eerste figuur die wordt getekend voordat wijzigingen worden aangebracht. Als u aan de andere kant begint met de kleinere details, is uw voorspelling veel waarschijnlijker duizenden kilometers verwijderd van een anker of exact cijfer.
Blijf op de hoogte blijven, zelfs na het bereiken van uw oorspronkelijke conclusie, en maak aanpassingen aan uw voorspellingen in het licht van nieuwe feiten.
Zodra het proces is begonnen, hebben we gezien hoe Superforecasters dingen beginnen, maar zodra je je eerste voorspelling hebt gedaan, kun je niet gewoon achterover leunen en kijken of je correct was. Elke nieuw stuk kennis vereist het bijwerken en wijzigen van uw vorige oordeel. Herinner je je Bill Flack? Nadat hij had voorspeld dat polonium in het lichaam van Yasser Arafat zou worden gevonden, handhaafde hij een horloge op het nieuws en herzien zijn voorspelling wanneer hij het nodig vond, volgens de laatste informatie. Het Zwitserse studieteam beweerde vervolgens dat meer testen nodig waren en dat de bevindingen later zouden worden aangekondigd, ondanks het feit dat de eerste voorspelling van Flack jaren eerder was gedaan. Omdat Flack een uitgebreid onderzoek naar polonium had gedaan, was hij zich ervan bewust dat het team polonium had ontdekt en dat verdere tests nodig waren om de bron van het polonium te bepalen. Als gevolg hiervan verhoogde Flack zijn voorspelling tot 65 procent.
Het bleek dat het Zwitserse team polonium in het lichaam van Arafat ontdekte, wat resulteerde in de laatste brierscore van Fleck van 0,36 punten. Gezien de complexiteit van de vraag is dit een uitstekende prestatie. U moet echter voorzichtig zijn. Hoewel nieuwe kennis gunstig kan zijn, kan het ook schadelijk zijn als het verkeerd wordt geïnterpreteerd. Volgens een voorbeeld vroeg de Intelligence Advanced Research Projects Activity (IARPA) van de regering van de Verenigde Staten of er op 15 september 2014 minder Arctisch zee -ijs zou zijn dan het voorgaande jaar. Doug Lorch, een superforecaster, kwam tot de conclusie dat er een waarschijnlijkheid van 55 procent was dat de reactie bevestigend zou zijn. Lorch daarentegen ontving een maand oud rapport van het Sea Ice Forecast Network dat hem voldoende beïnvloedde om zijn voorspelling te verhogen van 90 procent naar 95 procent, een belangrijke verschuiving op basis van een enkel stuk informatie.
Toen 15 september 2014 uiteindelijk arriveerde, was er meer Arctische ijs dan het voorgaande jaar was geweest. De eerste voorspelling van Lorch gaf dit een kans van 45 procent om zich voor te doen, maar na zijn herziening daalde de waarschijnlijkheid tot een schamele vijf procent. Het is noodzakelijk om delicate nuances te scheiden van onnodige informatie om vakkundig bijwerken te doen. Wees niet bang om uw mening te veranderen, maar denk goed na over of nieuwe kennis nuttig is of niet voordat u een beslissing neemt.
Werken in groepen kan gunstig zijn bij het voorspellen, maar alleen als ze correct worden gedaan.
Misschien ben je bekend met de uitdrukking "groepsdenken". De uitdrukking "teamgeest" is gemaakt door psycholoog Irving Janis, die theoretiseerde dat individuen in kleine groepen teamgeest kunnen genereren door onbewust gemeenschappelijke illusies te genereren die de kritische redenering verstoren. Interferentie wordt veroorzaakt door personen die bang zijn voor conflicten en in plaats daarvan gewoon met elkaar eens zijn. Afwijken van de norm is echter een bron van echte waarde. Onafhankelijke spraak en denken zijn grote voordelen in elke teamomgeving, maar meer in sport. Als gevolg hiervan koos het studieteam van het Goede oordeelproject ervoor om te onderzoeken of samenwerking de nauwkeurigheid kan verbeteren. De manier waarop ze dit bereikten, was door online forums te ontwikkelen via welke voorspellers die aan verschillende groepen werden toegewezen met elkaar konden communiceren.
In het begin bood het studieteam inzichten over groepsdynamiek en waarschuwde de online groepen tegen het vallen in de val van groepsdenken. De bevindingen van het eerste jaar kwamen binnen en ze toonden aan dat degenen die in groepen werkten gemiddeld 23 procent nauwkeuriger waren dan degenen die alleen werkten. Het tweede jaar besloot het studieteam om Superforecasters in groepen te plaatsen in plaats van gewone voorspellers, en ze ontdekten dat ze de gebruikelijke groepen met een aanzienlijke marge overtroffen. De dynamiek van de groep werd echter ook beïnvloed. Elaine Rich, een superforecaster, uitte ontevredenheid over de uitkomst. Iedereen was erg beleefd en er was weinig kritisch debat over tegengestelde opvattingen of tegenargumenten. In een poging de situatie te verhelpen, gingen de organisaties boven en boven om aan te tonen dat ze constructieve feedback accepteerden.
Precisievwestiging, die individuen ertoe aanzet hun argumenten te heroverwegen, is een andere techniek voor het verbeteren van de samenwerkingsprestaties. Dit is natuurlijk geen nieuw concept, omdat geweldige instructeurs sinds de tijd van Socrates en de Grieken nauwkeurige ondervraging beoefenen. Precisie -aanvraag houdt in dat het verder gaat in de details van een argument, want door te vragen om de betekenis van een bepaald woord. Zelfs als er sterke meningsverschillen over het onderwerp zijn, legt deze ondervraging de redenering achter de conclusie bloot, die de deur naar aanvullend onderzoek opent.
Samenvatting van het boek superforecasting in zijn geheel.
De belangrijkste les in dit boek is dat superforecasting niet beperkt is tot computers of tot genieën. Een trainbaar talent, het houdt in dat het verzamelen, scoreketens, scoreketens, op de hoogte blijven van nieuwe feiten en het vermogen hebben om geduldig te zijn. Advies dat in actie kan worden gebracht: het bijhouden van de nieuwste ontwikkelingen geeft u de concurrentie een stap voor. Superforecasters houden zichzelf op de hoogte van het nieuws dat belangrijk is voor hun voorspellingen op een veel frequentere basis dan reguliere voorspellers. Een suggestie om wijzigingen in de gaten te houden, is het instellen van meldingen voor uzelf, zoals via het gebruik van Google -meldingen, om u op de hoogte te houden. Deze zullen u op de hoogte stellen zodra nieuwe informatie over het onderwerp van de hand wordt beschikbaar gesteld door u een e -mail te sturen. Verder lezen wordt aanbevolen: Mark Buchanan doet een voorspelling. Voorspelling is een kritiek op de hedendaagse economische theorie die de belangrijkste fouten in de theorie blootlegt. Mark Buchanan, een natuurkundige, kijkt goed op de fundamentele wetenschappelijke veronderstellingen die onze economische kennis ondersteunen en, met behulp van scherpe analytische vaardigheden, laat zien hoe ze onjuist zijn. In het tweede deel van het boek bespreekt Buchanan een aantal wetenschappelijke doorbraken die naar zijn mening uiteindelijk zouden helpen bij de verbetering van de hedendaagse economische theorie.
Buy Book - Superforecasting door Philip E. Tetlock en Dan Gardner
Geschreven door BrookPad Team gebaseerd op superforecasting door Philip E. Tetlock en Dan Gardner