Dotychczasowe metody oceny wpływu prac naukowych oparte na cytowaniach często zawodzą i źle rozpoznają przełomowe odkrycia, zwłaszcza gdy kilka zespołów jednocześnie dochodzi do tych samych wyników. Nowy wskaźnik EDM, opracowany przez naukowców z University of Virginia, lepiej identyfikuje prawdziwe przełomy w nauce.
Na łamach czasopisma „Science Advances” jego autorzy podkreślili, że do niedawna ocena znaczenia publikacji opierała się głównie na analizie cytowań. Jednak w ich opinii metoda ta w praktyce mierzyła raczej popularność niż rzeczywisty wpływ naukowy. Dlatego w 2017 r. wprowadzono wskaźnik Consolidation-Disruption (CD Index), który miał identyfikować prace przełomowe zmieniające kierunek badań i zastępujące wcześniejsze podejścia w danym obszarze.
Jednak miał on istotną wadę - nie radził sobie z klasyfikacją odkryć dokonywanych równolegle przez różne zespoły, niezależnie od siebie. W takich przypadkach często dochodzi bowiem do wzajemnych cytowań, przez co jeden artykuł może zostać sztucznie uznany za przełomowy, a drugi za mniej ważny.
Rozwiązaniem tego problemu ma być metoda EDM (Embedding Disruptiveness Measure). Wykorzystuje ona tzw. osadzenia (ang. embeddings), czyli sposób przedstawiania informacji tekstowych w postaci liczb, inspirowany modelami językowymi.
Jak wyjaśnili autorzy, w ich rozwiązaniu każda publikacja otrzymuje dwa opisy: jeden dotyczący wcześniejszych badań oraz drugi odzwierciedlający to, co nastąpiło po jej niej. Pozwala to lepiej uchwycić rzeczywisty wpływ pracy w sieci cytowań.
Jak wyjaśnili autorzy, w ich rozwiązaniu każda publikacja jest opisywana na dwa sposoby. W jednym uwzględnia się to, co działo się przed jej powstaniem, czyli kontekst wcześniejszych badań, na których się opiera i które cytuje. Drugi opis zawiera to, co się wydarzyło po jej opublikowaniu - kto i ile razy ją cytował i jak wpłynęła na dalsze badania. To pokazuje, w jakim kierunku pchnęła rozwój danej dziedziny.
Autorzy podkreślili, że dzięki temu metoda EDM jest stabilniejsza niż CD Index i lepiej identyfikuje przypadki równoczesnych odkryć, które w klasycznym podejściu często były błędnie oceniane. Przeprowadzone testy wykazały, że prace uznawane za szczególnie przełomowe, w tym badania na poziomie Nagrody Nobla, częściej uzyskiwały wysokie wyniki właśnie w nowym wskaźniku.
Zdaniem naukowców opracowana metoda może być wykorzystywana w różnych aspektach naukoznawstwa, m.in. do sprawdzania, jak powstają przełomy, jak działa współpraca między zespołami badawczymi oraz jaki jest związek między finansowaniem a innowacyjnością.
Katarzyna Czechowicz (PAP)
kap/ agt/
Fundacja PAP zezwala na bezpłatny przedruk artykułów z Serwisu Nauka w Polsce pod warunkiem mailowego poinformowania nas raz w miesiącu o fakcie korzystania z serwisu oraz podania źródła artykułu. W portalach i serwisach internetowych prosimy o zamieszczenie podlinkowanego adresu: Źródło: naukawpolsce.pl, a w czasopismach adnotacji: Źródło: Serwis Nauka w Polsce - naukawpolsce.pl. Powyższe zezwolenie nie dotyczy: informacji z kategorii "Świat" oraz wszelkich fotografii i materiałów wideo.
