Pod koniec listopada 2018 roku opublikowano rezultaty dużego projektu replikacyjnego Many Labs 2, który miał na celu powtórzenie 28 popularnych badań psychologicznych. Badania te dotyczyły różnych aspektów funkcjonowania człowieka, m.in. altruizmu, moralności czy tzw. efektu atrybucji. Były prowadzone z dużą dbałością o szczegóły w 60 laboratoriach świata przez 186 naukowców.

PAP: W projekcie udało się potwierdzić wyniki 50 proc. badań. Pana zdaniem to dużo, mało?

Dr Tomasz Witkowski: Zależy, jak na to spojrzeć. Z perspektywy naukowca to bardzo dużo. Nie spodziewałem się tak dobrego wyniku, bo w poprzednim projekcie replikacyjnym udało się zreplikować tylko 36 proc. badań. Z perspektywy praktyka to jednak dramatycznie mało. Wynik oznacza dla mnie, że co druga kartka w podręczniku do psychologii społecznej może zawierać nieprawdziwe informacje. To mocno zatrważające.

PAP: Jaki wynik byłby dla pana jako praktyka zadowalający?

T.W.: Ja bym oczekiwał, żeby naukowcy dostarczali nam tzw. bezpiecznej wiedzy. Bezpieczna wiedza to taka, która jest dobrze sprawdzona, zweryfikowana. Oczekiwałbym 90 proc.

PAP: Sądzi pan, że to realne, osiągalne?

T.W.: Myślę, że tak. Chociaż przy obecnej kulturze „publish or perish” (publikuj lub giń – PAP), pogoni za liczbą cytowań, to nierealne. Z nauki zrobił nam się jarmark. Jest też kwestia podziału na nauki gorące i zimne. Nauki gorące to np. genetyka, fizyka, nanotechnologia. Tam wyniki badań replikuje się często w ciągu 24 godzin. W psychologii właściwie nie ma takich wyników, które by natychmiast sprawdzano. Publikuje się je, przyjmuje do wiadomości, pisze o nich w prasie, ale nikt nie replikuje tego na bieżąco. Weźmy pod uwagę słynny eksperyment więzienny Zimbardo. Prawie pół wieku minęło od czasu jego przeprowadzenia aż okazało się, że prawdopodobnie został po prostu sfałszowany. Z paroma innymi słynnymi eksperymentami jest bardzo podobnie.

PAP: A w projekcie Many Labs 2 co pana najbardziej zaskoczyło? Które niepotwierdzone badanie?

T.W.: W sumie mnie zaskoczyło, że tak dużo eksperymentów się potwierdziło. To było pozytywne zaskoczenie. W psychologii mamy do czynienia z tzw. efektem zmiennej czasu. Na przykład weźmy pod uwagę badanie dotyczące jedynaków i osób posiadających rodzeństwo. Jego wyniki się nie zreplikowały. Teraz okazuje się, że jedynacy są w podobnym stopniu altruistyczni – lub mało altruistyczni – jak ci, którzy wychowują się z rodzeństwem. To może być właśnie efekt zmiennej czasu polegający na tym, że kiedyś dzieci spędzały więcej czasu w domu, więc jeżeli nie miały brata, siostry, to przebywały razem z rodzicami. Nie uczyły się dzielenia, współczucia i tego typu rzeczy. W tej chwili opieka nad dziećmi się trochę zinstytucjonalizowała i tacy jedynacy przebywają dużo w żłobkach, przedszkolach, świetlicach, gdzie mają cały czas kontakt z rówieśnikami. Być może tamte badania były aktualne 30 lat temu, ale w tej chwili zmieniły się warunki, w jakich żyją dzieci i dlatego ten efekt zniknął. Ja spodziewałem się, że więcej tych efektów może ulec zanikowi pod wpływem zmiennej czasu, a już w szczególności pod wpływem zmiennej kulturowej, więc to, że się tak ładnie te eksperymenty potwierdziły pozytywnie mnie zaskoczyło. Ale żeby nie było tak kolorowo dodam, że sprawdzałem ostatnio, ile badań opublikowano w 2017 roku. Otóż tylko w języku angielskim opublikowano ponad 144 tys. zrecenzowanych naukowo badań. Wśród nich było tylko 181 replikacji, czyli około 0,12 proc. To malutka, malutka kropelka. Badacze powinni zajmować się tym (replikacją badań – PAP) na co dzień. Na przykład robić to w ramach prac licencjackich lub magisterskich. Przyczyniać się do tego, żeby ta wiedza stawała się wiedzą bezpieczną.

PAP: Jak pan sądzi, co mogłoby pomóc w polepszeniu jakości badań psychologicznych, zwiększeniu odsetka badań replikowanych z sukcesem?

T.W.: Przede wszystkim to, co się zaczyna w tej chwili robić, czyli tzw. prerejestracja – zgłaszanie planu badawczego przed rozpoczęciem badania. Nie ma wtedy miejsca na analizę eksploracyjną i dopasowywanie hipotez do gotowych wyników. Druga rzecz, która jest niezwykle istotna, to kwestia dostępu do danych surowych. Już w latach 60. niektórzy badacze postulowali, żeby udostępniać dane surowe do swoich badań. Dzięki nim można sprawdzić, czy autor nie popełnił błędu. Jest nawet taka inicjatywa na świecie (Peer Reviewers' Openness Initiative), która polega na tym, że recenzenci z różnych dziedzin nauki podpisują deklarację, w myśl której zobowiązują się, że po otrzymaniu artykułu do recenzji będą żądać dostępu do danych surowych albo uzasadnienia, czemu takie dane nie mogą zostać udostępnione. Ja również podpisałem tę inicjatywę, ale często nie przynosi ona spodziewanego efektu. Autorzy nie chcą udostępniać danych, a czasopisma nie chcą o nie prosić. Więc z jednej strony dużo się mówi na ten temat, a z drugiej wciąż obowiązuje zmowa milczenia. Jest też trochę tak, że autorzy, których badania się replikuje, odbierają to jako kontrolę ich pracy, jako taką działalność policyjną, brak zaufania do nich.

PAP: Badacze nie są w stanie schować dumy do kieszeni?

T.W.: Trochę tak. Badacze wypracowali sobie nieskrępowaną wolność. Żądania replikacji, dostępu do danych surowych, publikowania negatywnych wyników badań to nic innego jak ograniczanie tej wolności i zacieśnianie mechanizmów kontrolnych. A my jednak nie lubimy, jak ktoś nas kontroluje. Ale dzięki tym mechanizmom kontroli wychodzi na jaw wiele fałszerstw naukowych.

PAP: To też kwestia etyki naukowca…

T.W.: Tak, ale w sytuacji, gdy nauką zajmuje się tak wielu ludzi, nie możemy oczekiwać, że ci ludzie będą się charakteryzować wyższymi standardami etycznymi niż przeciętna w populacji. Jedne z pierwszych badań psychologicznych pokazują, że uczciwość jest funkcją wielkości pokusy. Jeżeli pokusa jest bardzo duża, kontrola bardzo mała, to sytuacja będzie skłaniała do zachowań nieetycznych.

PAP: Można powiedzieć, że naukowcy są po prostu ludźmi…

T.W.: Tak. Ludźmi, którzy dążą do sławy, pieniędzy. Ludźmi, którzy normalnie robią karierę; ścinają zakręty, jeśli to możliwe; idą na skróty, jeśli się da i bardzo dużo krzyczą, jak ktoś zaczyna ich kontrolować lub wytykać im błędy. To są zwykli ludzie i tak powinniśmy ich traktować.

PAP: Chciałby pan dodać coś jeszcze do tematu badań psychologicznych?

T.W.: Kwestia publikacji negatywnych wyników badań i w ogóle publikacji replikacji badań. Jeszcze do niedawna większość czasopism odmawiała publikacji replikacji, a szczególnie negatywnych wyników badań. Tymczasem negatywny wynik mówi nam podobnie dużo, a czasem nawet więcej niż wynik pozytywny. Powszechniejsza publikacja negatywnych wyników badań również zmieniłaby wizerunek nauki. To jest bezwzględnie ważny element poprawy jakości publikowanych wyników badań.

PAP: Czy to się zmienia? Czy teraz zaczyna się publikować w czasopismach negatywne wyniki badań?

T.W.: Dużo się deklaruje, ale to nadal jest problem. Dobrze by było stworzyć takie czasopismo, które publikowałoby przynajmniej abstrakty, które zawierają negatywne wyniki badań. Żeby przy planowaniu badań można było sprawdzić, czy ktoś już tego nie robił i nie uzyskał negatywnego wyniku. Niepublikowanie wyników takich badań to marnotrawstwo.

PAP: W swoich wypowiedziach nie raz wspomina pan o kryzysie replikacyjnym, ale też o ogólnym kryzysie w psychologii. Na czym on polega?

T.W.: Kiedyś dużo mówiło się na temat braku ogólnej teorii w psychologii – koncepcji wyjaśniającej i scalającej wyniki badań. Teraz w ogóle się nie mówi na ten temat. Już Noam Chomsky, który nie jest psychologiem, bardzo często zwracał uwagę na to, że być może istnieje uniwersalny system organizowania doświadczeń, uniwersalny system poznania, więc powinniśmy dążyć do odnalezienia takiego systemu po to, żeby zacząć rozumieć zachowanie, funkcjonowanie człowieka i umysłu, jako pewną całość. Brakuje w psychologii ludzi, którzy podejmowaliby takie próby. Inna sprawa, że nie są one w nauce nagradzane. To ewidentny problem psychologii. Gdybyśmy mieli teorię ogólnego zasięgu, wiedzielibyśmy, na ile wyniki badań pasują do tej teorii, a na ile nie. Moglibyśmy zweryfikować się pod tym kątem bardzo szybko.

PAP: To byłby taki punkt odniesienia?

T.W.: Tak. Tego cały czas nam brakuje. Ostatnie lata pokazują, że idziemy w odwrotnym kierunku – w kierunku rozkładania zachowania i poznania człowieka na kawałki, rozumienia fragmentów dużej układanki. Nie próbujemy spojrzeć na to z szerszej perspektywy, żeby zobaczyć, czego ta układanka właściwie dotyczy.

PAP: Rozdrabniamy się, zamiast spojrzeć na człowieka całościowo?

T.W.: Tak. Dorzucę jeszcze jeden dość istotny problem. Jakiś czas temu głośno było o dekadzie mózgu. Na początku XXI w. psychologowie z American Psychological Association (Amerykańskiego Towarzystwa Psychologicznego – PAP) postanowili ogłosić dekadę zachowania. Tymczasem analiza badań psychologicznych pokazuje, że psychologowie nie badają obecnie zachowania człowieka, tylko deklaracje o tym, jak się człowiek zachowa, samoopisy. Psychologia zatoczyła koło. Zaczynała od introspekcji i do introspekcji wróciła. Powinniśmy zdecydowanie więcej uwagi poświęcić badaniom zachowań. Odejście od nich to przekleństwo współczesnej psychologii.

Rozmawiała Aleksandra Piasta 

PAP - Nauka w Polsce

ooo/ ekr/