https://frosthead.com

Защо експертите са почти винаги грешни

Всеки път, когато има национално бедствие, гигантско събитие, стрелба, пробив, изобщо всякакви новини, можете да разчитате на телевизионните новини, за да намерите експерт. Някои от тях знаят доста много за случилото се, какво ще се случи и защо. Но когато става въпрос за много експерти, те наистина нямат представа за какво говорят.

Блогерът Ерик Баркър посочва, че прогнозите на политическите експерти са само малко по-добри от случайни предположения и далеч по-лоши от статистически модел. Всъщност, така наречените експерти бяха по-добри в прогнозирането на събития извън собствената си област. Баркър посочва изследване от 80-те години, когато Филип Тетлок е имал 284 политически "експерти", които правят около сто прогнози. Проучването е обобщено в книгата Всичко е очевидно * След като знаете отговора:

За всяко от тези прогнози Тетлок настоя, че експертите уточняват кой от два резултата очакват и също така приписват вероятност на прогнозата им. Той направи това по начин, по който уверените прогнози вкараха повече точки, когато са правилни, но също така загуби повече точки при грешка. С тези прогнози в ръка той седна назад и изчака самите събития да се разиграят. Двадесет години по-късно той публикува резултатите си и това, което откри, беше поразително: Въпреки че експертите се представиха малко по-добре от случайни догадки, те не се представиха толкова добре, колкото дори минимално сложен статистически модел. Още по-изненадващо е, че експертите се представиха малко по-добре, когато оперират извън своята област на експертиза, отколкото в нея.

Друго проучване установи, че „експерти“, които се опитват да предскажат резултата от делата на Върховния съд, не са били толкова по-добри от компютър. Светът видя доказателства за това в неотдавнашното си решение за здравеопазване, изненадвайки почти всеки „експерт“ там.

Но това е политика. Другите полета трябва да са по-добри, нали? Не. Технологията е по същия начин. Друг учен анализира точността на прогнозите за тенденции в технологиите. Около осемдесет процента от тях грешиха, независимо дали тези прогнози са направени от експерти или не.

През 2005 г. Тетлок написа книга за експертното прогнозиране, наречена „Експертна политическа преценка: Колко е добро? Как можем да знаем? “В него той обяснява, че не само че експертите често грешат, но почти никога не са извикани за това. Ню Йоркър обяснява:

Когато грешат, те рядко са подведени под отговорност и те рядко признават това. Те настояват, че току-що са изключени от времето, или са заслепени от невероятно събитие, или почти правилно, или грешно поради правилните причини. Те имат същия репертоар от самооправдания, който имат всички, и не са по-склонни от всеки друг да преразгледат своите убеждения за начина, по който работи светът или трябва да работят, само защото са направили грешка.

Тетлок посочва, че макар да сме ужасни в прогнозите, експертите попадат в два „когнитивни стила“, когато правят тези прогнози: лисици и таралежи. Huffington Post обобщава:

Лисиците знаят много неща, докато таралежите знаят едно голямо нещо. Ако дълбоко познавате една тема, стеснявате фокуса си и увеличавате доверието, но също така замъглявате различията, докато те вече не се виждат, като по този начин събирането на данни се превръща в потвърждение на пристрастия и превръща самозаблудата в самоувереност. Светът е разхвърляно, сложно и условно място с безброй интервенционни променливи и объркващи фактори, с които лисиците са удобни, но таралежите не са. Ниските голмайстори в изследването на Тетлок бяха „мислители, които„ знаят едно голямо нещо “, агресивно разширяват обяснителния обсег на това едно голямо нещо в нови области, проявяват бурно нетърпение към онези, които„ не го получават “и изразяват значителна увереност, че са За разлика от това, казва Тетлок, голмайсторите са били „мислители, които знаят много малки неща (трикове от търговията си), скептични са към големите схеми, виждат обяснението и прогнозирането не като дедуктивни упражнения, а по-скоро като упражнения в гъвкави“ ad hocery “, които изискват събиране на различни източници на информация и са доста несигурни по отношение на собствените си умения за прогнозиране.“

Но какво ще кажете за техниката от 10 000 часа? Наистина ли просто прекарате 10 000 часа, за да имате само малко по-добър от случаен шанс да предскажете резултата от избраната от вас област? Вероятно. Баркър цитира друга книга „Талантът е надценен: какво наистина отделя изпълнителите от световна класа от всички останали:

Обширните изследвания в широк спектър от области показват, че много хора не само не успяват да станат изключително добри в това, което правят, независимо колко години прекарват да го правят, те често дори не стават по-добри, отколкото са били, когато са започнали.

Полево след поле, когато ставаше дума за централно важни умения - борсовите посредници, препоръчващи акции, служителите на условно освобождаване, предвиждащи рецидивизъм, служители на прием в колеж, преценяващи кандидатите, - хората с много опит не бяха по-добри в работата си от тези с много малък опит.

Моралът тук? Ние наистина нямаме идея какво ще се случи, някога.

Още от Smithsonian.com

Как да спечелим пари, предвиждайки Олимпиадата

Италианските учени могат да бъдат изправени пред изпитание за непредсказване на земетресението през 2009 г.
Защо експертите са почти винаги грешни