Badania recenzowane są kluczowym elementem publikacji naukowych, bez których nie byłoby współczesnej nauki. Przed opublikowaniem jakość danej pracy oceniają na podstawie merytorycznych kryteriów inni badacze, mający podobny lub bardziej znaczący do ocenianych dorobek i będący na porównywalnym etapie kariery naukowej.

Jednak wiele czasopism i konferencji naukowych ma trudności z rekrutacją wystarczającej liczby recenzentów (którzy zazwyczaj poświęcają swój czas bezpłatnie) – aby ocenić rosnącą liczbę nadesłanych artykułów.

Wygląda jednak na to, że również ChatGPT może dostarczać autorom prac naukowych przydatnych informacji zwrotnych na temat ich artykułów, co mogłoby pomóc czasopismom naukowym w podejmowaniu decyzji, które badania opublikować.

Prof. James Zou ze Stanford University postanowił sprawdzić, czy można wykorzystać duże modele językowe, takie jak ChatGPT, aby przekazać badaczom opinie.

Zou i jego współpracownicy najpierw poprosili ChatGPT OpenAI – w szczególności wersję chatbota opartą na modelu AI GPT-4 – o dostarczenie konstruktywnych informacji zwrotnych na temat ponad 3000 manuskryptów, które zostały przesłane i przyjęte do prestiżowej grupy czasopism "Nature" po przejściu standardowej recenzji. Poprosili także chatbota o przejrzenie ponad 1700 artykułów z międzynarodowej konferencji ICLR, jednej z największych na świecie konferencji dotyczących uczenia maszynowego.

Następnie porównali recenzje AI z komentarzami recenzentów, którzy oceniali te same artykuły.

Ponad połowa opinii ChatGPT na temat artykułów w „Nature” zawierała uwagi, które zostały również podniesione przez co najmniej jednego z naukowców recenzujących rękopisy.

W przypadku artykułów konferencyjnych z ICLR, ponad 77 proc. komentarzy ChatGPT podkreślało kwestie poruszone również przez co najmniej jednego recenzenta.

W badaniu wykorzystano ChatGPT także do uzyskania opinii na temat kilkuset artykułów w wersji preprint – jeszcze nie zrecenzowane, ale niedawno przesłane na publicznie dostępne serwery.

Zou i jego współpracownicy przeprowadzili ankietę wśród 308 autorów (zajmujących się sztuczną inteligencją i biologią obliczeniową) – pod kątem ich wrażeń na temat recenzji.

Chociaż nie dokonano bezpośredniego porównania z komentarzami jakichkolwiek recenzentów, ponad 82 proc. badaczy określiło opinie ChatGPT jako ogólnie korzystniejsze niż niektóre opinie, które otrzymali w przeszłości.

W badaniu brak jednak szczegółowych informacji na temat przypadków, w których opinie generowane przez sztuczną inteligencję różnią się od opinii ludzi. Zdaniem nie biorących udziału w badaniach naukowców nie pozwala to ocenić stopnia, w jakim recenzje generowane przez sztuczną inteligencję mogą być wyjątkowo stronnicze lub błędne.

Zou twierdzi, że niektórzy ankietowani przez nich badacze określili opinie ChatGPT jako zbyt niejasne i pozbawione szczegółów technicznych. Uważa, że sztuczna inteligencja mogłaby zapewnić badaczom wstępne komentarze do ich artykułów. Przestrzega jednak przed recenzentami polegającymi na ChatGPT w wykonywaniu swojej pracy. Jak podkreślił, nadal potrzebni są wysokiej klasy recenzenci – ludzie.

Zou i jego współpracownicy opublikowali swoją pracę w Internecie, ale nie została ona jeszcze zrecenzowana i opublikowana w czasopiśmie naukowym, tylko umieszczona w archiwum preprintów „arXiv” (DOI: 10.48550/arXiv.2310.01783).(PAP)

Autor: Paweł Wernicki

pmw/ agt/