PLLuM (Polish Large Language Universal Model) to rodzina dużych polskich modeli językowych. Tego typu programy sztucznej inteligencji (AI) umożliwiają generowanie tekstu oraz przetwarzanie języka naturalnego. Dzięki nim komunikacja z maszyną nie wymaga od użytkownika stosowania sztywnych kodów i mechanicznych poleceń, ale przypominać może dialog z człowiekiem.

W odróżnieniu od komercyjnych modeli LLM (takich jak ChatGPT, Claude czy Gemini), modele PLLuM wyspecjalizowane są w języku polskim, choć do ich trenowania używano również tekstów w innych językach słowiańskich, bałtyckich oraz oczywiście w języku angielskim.

"Model jest dostosowany do języka i kultury polskiej. Prace w ramach tego projektu wspierają zaś polskich ekspertów i rozwój kompetencji w dziedzinie sztucznej inteligencji" — wyjaśnił w rozmowie z PAP uczestnik projektu dr hab. Szymon Łukasik, prof. AGH i dyrektor Ośrodka Badań nad Bezpieczeństwem Sztucznej Inteligencji NASK. Ośrodek ten ma koordynować teraz prace nad dalszymi pracami i wdrożeniem modeli w prace administracji publicznej — w ramach działań konsorcjum HIVE.

Badacz tłumaczy, jak ważne były w ramach prac kwestie bezpieczeństwa i etycznego podejścia do budowy AI. "Filozofią przyświecającą budowie tego modelu było to, żeby kwestie zbierania danych były maksymalnie przejrzyste. Żebyśmy mieli pewność, na jakim polu modele zbudowane z ich użyciem można wykorzystać" — powiedział dr hab. Łukasik. Wskazał, że przedstawiciele projektu zawierali np. umowy z redakcjami i pozyskiwali oficjalne zgody na korzystanie z archiwów polskich tekstów.

Ekspert z NASK tłumaczy, że język polski jest językiem o niskich zasobach. A to znaczy, że danych, które można wykorzystać do budowy modeli, nie ma zbyt dużo. Modele PLLuM do użytku komercyjnego są trenowane na ok. 30 miliardach tokenów (token to kawałek przetwarzanego tekstu - np. słowo lub jego fragment); zaś modele do użytku niekomercyjnego – dla takiego celu zasobów jest znacznie więcej – były trenowane na około 150 miliardach.

Modele PLLuM docelowo mają być używane w administracji państwowej, a to oznacza kolejne wyzwania związane z bezpieczeństwem. Twórcy projektu musieli zadbać o to, by model stawiał w swoich odpowiedziach granice i by nie padały tam jakieś nielegalne, nieprawdziwe lub kontrowersyjne treści.

Do doszkalania modeli wykorzystano największy w Polsce, bo liczący 40 tys. interakcji, zbiór zapytań, w tym około 3,5 tys. dłuższych dialogów między tutejszymi trenerami a maszyną. Dzięki tej mrówczej pracy tzw. anotatorów AI ma sobie lepiej radzić ze specyfiką polskiego języka i polskiej kultury.

PLLuM — jak zapewniają jego twórcy — powstaje zgodnie z krajowymi i unijnymi wytycznymi dotyczącymi sztucznej inteligencji. I uwzględnia aktualne standardy ochrony danych.

Modele PLLuM udostępnione są bezpłatnie w formie czatu wszystkim zainteresowanym. Ministerstwo Cyfryzacji opublikowało też dotąd 18 otwartych wersji modelu PLLuM dla programistów. Do dyspozycji wszystkich zainteresowanych są więc zarówno lekkie, ale mniej dokładne wersje modeli, które można ściągnąć na laptopa, jak i mocniejsze, ale wymagające wielu kart graficznych modele do bardziej zaawansowanych zastosowań - np. badawczych. W przypadku obu typów istnieje możliwość uruchomienia modeli na własnej infrastrukturze, bez konieczności przekazywania zapytań do podmiotów zewnętrznych.

W ramach projektu powstały też generatory, czyli wyspecjalizowane modele RAG-owe (ang. Retrieval Augmented Generation). Dzięki takim modelom można np. przeszukiwać i analizować swoje lokalne bazy danych i tworzyć wirtualnych asystentów analizujących zbiory własnych dokumentów. Zespół PLLuM zbudował najmniejszy (8 mld parametrów) ale wiodący w rankingach dla polskiego języka generator tego typu.

Dr Łukasik odniósł się też do zmiany nazwy projektu z PLLuM na HIVE. "Nasze modele nazywają się PLLuM, a ich rodzina będzie dalej rozwijana w ramach konsorcjum HIVE. Chcieliśmy w ten sposób nawiązać do idea współpracy wielu badaczy, inżynierów i instytucji, działających niczym pszczoły w jednym ekosystemie, wymieniając się wiedzą i zasobami (np. danymi, kodem, modelami). Natomiast być może kiedyś będziemy chcieli wypuścić jakąś nową rodzinę modeli - z nową nazwą. Rozmawiamy o tym z Ministerstwem Cyfryzacji" - wskazał dr Łukasik.

Ludwika Tomala (PAP)

Nauka w Polsce

lt/ zan/ ktl/