Трудно е да се спори със силата на науката. От проучвания, които оценяват най-новата тенденция в диетата, до експерименти, които осветяват предсказателите за щастие, хората стигат все по-често към научните резултати като конкретни, надеждни факти, които могат да управляват как мислим и действаме.
Свързано съдържание
- Учените повториха 100 изследвания по психология и по-малко от половината постигнаха същите резултати
Но през последните няколко години все по-голям контингент учени започнаха да поставят под съмнение приетата вероятност на публикуваните изследвания - дори след като са разчистени препятствията на партньорската проверка и се появяват в широко уважавани списания. Проблемът е всеобхватната неспособност да се възпроизведат голяма част от резултатите в множество дисциплини.
Например през 2005 г. Джон Йоанидис, професор по медицина в Станфордския университет, използва няколко симулации, за да покаже, че научните твърдения са по-склонни да бъдат неверни, отколкото верни. И това минало лято Браян Носек, професор по психология в Университета на Вирджиния, се опита да повтори констатациите от 100 изследвания по психология и установи, че само 39 процента от резултатите се държат при строги повторни тестове.
„Има множество доказателства, теоретични и емпирични, които започнаха да поставят под въпрос възпроизводимостта на значителен сегмент от научна литература“, казва Йоанидис. "Получаваме милиони документи, които не отиват никъде."
Тези предварителни открития породиха създаването на изцяло нова област, наречена мета-изследвания - научното изследване на науката.
Тази седмица рамото по биология на Обществената библиотека на науката (PLOS), неправителствена издателска и застъпническа организация, пусна нов раздел, посветен само на мета-изследвания. Разделът ще изследва въпроси като прозрачността на научните изследвания, методологическите стандарти, източниците на предубеденост, обмена на данни, финансирането и стимулиращите структури.
За да започне нещата, Йоанидис и неговите колеги оцениха случайна извадка от 441 биомедицински статии, публикувани между 2000 и 2014 г. Те провериха дали тези документи предоставят обществен достъп до сурови данни и експериментални протоколи, репликирани ли са в последващи проучвания, дали резултатите им са интегрирани в систематични прегледи на дадена област и включена документация за източници на финансиране и други потенциални конфликти на интереси.
Резултатите от тях бяха най-малко тревожни. Например, само едно проучване предостави пълни експериментални протоколи, а нулевите проучвания предоставиха пряко налични сурови данни.
„Това са два основни стълба на възпроизводимостта“, казва Йоанидис. „Ако не са налични данни и пълният протокол, човек не може наистина да възпроизведе нищо.“ В крайна сметка, без тази ключова информация, как друг екип може да знае точно какво да прави и как резултатите им се различават от тези в оригиналния експеримент?
Екипът установи също, че твърденията на само осем от изследваните статии по-късно са потвърдени от последващи проучвания. И въпреки че много от проучванията твърдят, че имат нови открития, резултатите от само 16 статии са включени в статии за по-късен преглед, които служат като лакмусов тест за истинското въздействие на изследването върху определена тема.
"Цифрите, които получаваме, са доста страшни", казва Йоанидис. "Но можете да видите това като основна линия на това, което сме сега, и има много място за подобрение."
Не всички резултати обаче бяха обезкуражаващи. Процентът статии без изявление за конфликт на интереси намаля от 94, 4 процента през 2000 г. до 34, 6 процента през 2014 г. - вероятно резултат от нарастващата осведоменост за пагубните ефекти на пристрастия върху резултатите от изследванията.
Във второ мета-изследване немски екип анализира как загубата на субекти на животни по време на предклинични изпитвания може да допринесе за широкото невъзможност за превеждане на лабораторни резултати в полезни клинични лекарства.
Изследващите животни могат да изчезнат от изследване на случаен принцип - например, защото животното е умряло - или чрез фино предубедени действия, като например да бъдат отстранени от изпитанието за елиминиране на данни, които подкопават очакваните резултати. Екипът демонстрира, че предубеденото отстраняване на животински субекти може да изкриви резултатите и значително да увеличи вероятността от фалшив положителен резултат - когато се смята, че ново лекарство действа, но всъщност не.
В отделен анализ на предклинични проучвания за инсулт и рак, същите изследователи откриха, че повечето документи не отчитат адекватно загубата на животни и че положителните ефекти на много лекарства, които се тестват, могат да бъдат значително надценени.
Така че защо на първо място се случва тази криза в прозрачността и възпроизводимостта?
Макар че някои проблеми могат да се крият в съзнателни или несъзнателни пристрастия към научните изследвания, вероятно повечето изследвания, които достигат до публикуването, са един вид по рода, поради сегашната стимулираща структура в науката.
В пресечения свят на академичните среди основната мярка за успех е броят на изследванията, които изследователят получава в престижни списания. В резултат на това учените са подложени на натиск да отделят по-голямата част от времето си за получаване на видовете пробивни резултати, които най-вероятно ще бъдат публикувани.
„Докато ние ценим възпроизводимостта в концепцията, всъщност не я оценяваме на практика“, казва Носек, който е и съуправителят на Центъра за отворена наука, стартъп с нестопанска технология, който работи за насърчаване на прозрачността и възпроизводимостта в научните изследвания.
„Истинските стимули за моето поведение като учен са да иновации, да правя нови открития и да разбивам нова основа - да не повтарям това, което са направили другите. Това е скучната част от науката. "
Учените също виждат малко стимули за предоставяне на необходимата информация, за да възпроизведат работата си, което е една от основните причини, поради които твърденията на толкова много изследвания остават непроверени.
„Не съм възнаграден за това, че предоставям данните си на разположение или изричам методиката си в по-голяма дълбочина, отколкото е необходимо за влизане в публикация“, казва Носек.
Много списания молят учените да предоставят подробно обяснение на методите си и да споделят данни, но тези политики рядко се прилагат и няма универсални стандарти за публикуване.
„Ако знаех, че никога няма да има ченгета по пътищата, винаги ли ще се придържам към ограничението на скоростта? Не - това е човешка природа “, казва Иван Орански, съосновател на Retraction Watch, организация, която насърчава отчетността и прозрачността чрез проследяване на оттеглянето в научната литература. „Ако знаете, че никой няма да ви санкционира, тогава няма да споделяте данни.“
Онези учени, които искат да проведат репликация и са в състояние да получат експериментални подробности, е малко вероятно да намерят финансиране от публични агенции като NIH, които главно преценяват заявленията за отпускане на средства въз основа на новост и иновации.
„Коефициентите са категорично против възпроизвеждането“, казва Йоанидис.
Именно там може да се намеси новопоявилото се поле на мета-изследвания. Организации като Центъра за отворена наука и Мета-изследователския център за иновации в Станфорд (METRICS) работят, за да помогнат за преустройството на системата за възнаграждения и да установят строги универсални стандарти, които ще насърчат по-широкото разпространение практики за прозрачност и възпроизводимост.
„Ако нивата на финансиране или промоцията зависеха от случилото се с предишното ви изследване - ако беше възпроизвеждащо се, ако хората могат да го осмислят, ако хората могат да го преведат на нещо полезно, а не само на колко публикувани от вас документи - това би било много силен стимул за промяна на научните изследвания, за да станат по-възпроизводими “, казва Йоанидис, който е съ-директор на METRICS.
„Надявам се тези показатели да се подобрят“, добавя той. „И за някои от тях няма друга възможност, освен да се изкачат, защото започваме от нула.“
