Nate Silver og problemet med prediksjon

Wall Street flyter alltid over av Holy Grails - de spådommer, strategier, hemmelige formler og genitolkninger som lover andre verdenskunnskap og rikdom hvis du bare tillit . De blir ofte levert i investeringsverdenen gjennom en svart boks —Et lukket system der inngangene og utgangene er kjent, men de interne analysefunksjonene er helt hemmelige, bare for yppersteprestene. Black box-posisjonering går imidlertid langt utover markedene. Det er ikke overraskende i en moderne sammenkoblet tidsalder at når du tar en veldig smart fyr, rader med datamaskiner, proprietære formler og kode som bare den ene smarte fyren kan se, og deretter legger til en rekke vellykkede prognoser , boom — du ender opp med en nerdete, laget for sosial media-superstjerne som plutselig lager prediksjon kult for proletariatet.

Nate Silver er at fyr. Ta i betraktning:

• Han kalte vellykket resultatene i 49 av de 50 statene i det amerikanske presidentvalget i 2008.
• Han kalte vellykket resultatene i 50 av de 50 statene i det amerikanske presidentvalget i 2012.

Silver ble den beste smartnumre-fyren over natten. Han gikk fra ekspert på baseballstatistikk til ekspert på politisk statistikk. Hans matematiske modell for valg slo politiske journalister og kommentatorer på sitt eget spill - det samme gjelder hans Moneyball-for-politikk-fortelling. Kort fortalt fulgte hans følgere på Twitter 1 million, boken hans ble en bestselger, og FiveThirtyEight.com ble allestedsnærværende - til og med å tilby investeringsinnsikt som, Bekymret for aksjemarkedet? Uansett hva du gjør, ikke selg.

Likevel, for alle som fulgte presidentløpet i 2016, kom Silvers politiske spådommer på veggen. I løpet av 2016 publiserte Silver daglige valgodds som hoppet rundt som en katt i brann - ikke overraskende om din nye gurustatus tvinger deg til å tilby prognoser hver dag i en valgsyklus i over et år.

Jeg erkjenner at for oss bare dødelige er konsistens en fristende - selv for høyt utdannede og velstående. En medarbeider av meg, en dyktig forretningsmann, og jeg spiste lunsj for noen år tilbake. Under samtalen nevnte han at han var fanget i en veldig kjent hedgefond-svindel (ikke Madoff). Jeg spurte ham før han kunne forklare mye om avkastningen hans var positiv hver måned. Han svarte: Hver måned. Senere googlet jeg ham og fant ut at han faktisk hadde tapt flere millioner dollar.

Dette ønsket om sikkerhet, for prediksjon, er overalt i det moderne samfunn for de observante. Sport også? Det kan du vedde på. Under en Monday Night Football-kamp satte en av kunngjørerne, Ron Jaworski, tall og odds i perspektiv for å spille fotballspillet: Play calling handler om sannsynlighet, ikke sikkerhet.

Det høres slik ut lett å fordøye. Men det er det ikke. Den mangelen på sikkerhet er så ofte en utløser for vår dypeste frykt. David Rock hadde et flott stykke i Psychology Today og spikret forvirringen:

Noen deler av regnskap og rådgivning tjener pengene sine ved å hjelpe ledere med å oppleve en oppfatning av økende sikkerhet gjennom strategisk planlegging og ‘prognoser’. Mens finansmarkedene i 2008 igjen viste at fremtiden i utgangspunktet er usikker, er det som er sikkert at folk vil betale mye penger for i det minste å føle seg mindre usikre. Det er fordi usikkerhet føles for hjernen som en trussel mot livet ditt.

Derfor ble Silver så populær - han eliminerte frykten - eller i det minste det var fortellingen. Men selv fyren med alle tallene gikk bort fra tallene. Han innrømmet i sin møysommelige mea culpa, How I Acted Like a Pundit and Screwed on Donald Trump for ikke å bruke sine statistiske modeller på Donald Trumps kandidatur. Han brukte i stedet utdannede gjetninger, som blåste hans statistiske-modell-gjort-meg-så-berømt-du-kan-nå-stole-jeg-er-ikke-en-typisk-ekspert-med-innebygde-skjevheter historie linje opp av vannet. Verre ennå, slik Silver hadde laget sin spådommer , kunne han egentlig si at han hadde rett uansett hva som skjedde. For Silvers følgere var hans sikrede prognoser i 2016, hans diskutable matematikk , betyr ikke noe:

Se på Nates rekord. Trump var en outlier.

Det var ikke nok historisk data.

Han får mest av dem rett.

Nates vinneprosent er slik høy.

Disse svake tilbakemeldingene illustrerer et feil grunnlag i Silvers tilnærming. Michael Mauboussin, en av de store tenkerne innen beslutningstaking i møte med usikkerhet, utdanner: Det som er påfallende er at de ledende tenkere på tvers av varierte felt - inkludert hestespill, kasinospill og investering - understreker det samme poenget. . Vi kaller det Babe Ruth-effekten: selv om Ruth slo til mye, var han en av baseballens største hitters.

Sa en annen måte: Du vil tenke i form av forventet verdi. Likevel er det ikke en verdifull eller nyttig måte å tenke på et engangsvalg der begge sider bokstavelig talt forestiller seg liv og død. Men det er ingen sikkerhet, ingen garanti - noensinne. Verden handler om overraskelse .

Og Silver utelater overraskelsene, det uvanlige og uventede. Han har ingen måte å forutsi eller gjøre rede for. På Trumps seier sa Silver like mye: Det er den mest sjokkerende politiske utviklingen i mitt liv. Men ingen kan forutsi outliers, så hvis noen som Silver later som om han kan - se opp. Spyros Makridakis, i sitt berømte papir fra 1979 Accuracy of Forecasting: An Empirical Investigation, viste at enkle slag kompliserte og at glidende gjennomsnitt slo kronglete økonometriske rutiner. Ville glidende gjennomsnitt også ha spådd de to valgene som gjorde Silver til et kjent navn?

Ikke desto mindre kommer Silver-forsvarere tilbake til 49 av 50 og 50 av 50 i 2008 og 2012 - bevis, de sier når de ignorerer 2016. Men i 2008 og 2012, hvor stor prosentandel av dem var hard samtaler? For eksempel er California blå uansett hva. Så det er alltid en enorm risiko i å stole på strategi som får de enkle samtalene til rette og peker på de harde.

Dette er ikke veldig nye uoverensstemmelser å tenke på. Den effektive markedsteorien - strategien som driver verdens penger - har heller ingen løsning for overraskelse (dvs. svarte svaner). Sølv illustrerer ganske enkelt rase over en annen disiplin, men med det samme presserende problemet. Sommeren 2016 lanserte Nassim Taleb, faren til svartsvanekonseptet, en detaljert kritikk av Silver i det offentlige rom: @FiveThirtyEight viser oss en lærebokssak om hvordan vi kan være helt uvitende om sannsynlighet, men likevel gjøre en bedrift i det.

Den intellektuelle burkampen: Nassim Taleb versus Nate Silver.

Velg din side nøye. Det er liv eller død.

Michael Covel er forfatter av fem bøker: inkludert den internasjonale bestselgeren, Trend følger , og hans undersøkende fortelling, Den komplette TurtleTrader . Michael er også stemmen bak Trend Following Radio, den underjordiske alternative suksessen som har vært så høy som # 2 på iTunes med 5 millioner lyttinger.