Istnieją dwa główne cele w uczeniu ciągłym: utrzymanie stabilności i utrzymanie plastyczności. Utrzymanie stabilności wiąże się z zapamiętywaniem przydatnych informacji, a utrzymanie plastyczności polega na znajdowaniu nowych przydatnych informacji, gdy zmienia się rozkład danych. Obecne metody głębokiego uczenia mają trudności z utrzymaniem stabilności, ponieważ mają tendencję do zapominania wcześniej nauczonych informacji.

W naturalnych systemach uczenia, takich jak ludzki mózg, plastyczność jest kluczowa dla ciągłego dostosowywania się do nowych doświadczeń. Niestety, w przypadku standardowych metod głębokiego uczenia maszynowego, zdolność ta stopniowo zanika w miarę kontynuowania procesu uczenia na nowych danych. Zjawisko to, znane jako utrata plastyczności, prowadzi do sytuacji, w której sieci neuronowe przestają się uczyć skutecznie, co w konsekwencji ogranicza ich zastosowanie w dynamicznych środowiskach wymagających ciągłej adaptacji.

Zespół badawczy pod kierownictwem Shibhansha Dohare'a z Uniwersytetu Alberty przeprowadził szeroko zakrojone badania, które potwierdziły występowanie utraty plastyczności w standardowych metodach głębokiego uczenia. Badania te obejmowały różnorodne architektury sieci neuronowych oraz algorytmy uczenia, stosowane na klasycznych zbiorach danych, takich jak ImageNet i CIFAR-100, zmodyfikowanych do potrzeb ciągłego uczenia.

W jednym z eksperymentów, badacze stworzyli sekwencję zadań klasyfikacji binarnej, bazując na zbiorze ImageNet, w którym sieć neuronowa była trenowana na coraz to nowych parach klas obrazów (jedno zadanie polegało np. na rozróżnieniu kotów od domów, a drugie na odróżnieniu znaków stopu od autobusów szkolnych). Wyniki wykazały, że sieci neuronowe początkowo osiągały wysoką dokładność w klasyfikacji, jednak z czasem ich zdolność do przyswajania nowych informacji znacznie malała. Po przejściu przez tysiące zadań, efektywność sieci spadała do poziomu, który był gorszy niż w przypadku sieci płytkich, co stanowiło bezpośredni dowód na utratę plastyczności.

Przyczyny utraty plastyczności nie są w pełni zrozumiałe, jednak badania wskazują, że kluczową rolę odgrywa tu zjawisko nadmiernej stabilizacji wag sieci. W miarę jak sieć uczy się na coraz większej ilości danych, zmiany w wagach stają się coraz mniejsze, co z jednej strony stabilizuje sieć, ale z drugiej ogranicza jej zdolność do adaptacji do nowych danych.

Skutki utraty plastyczności są poważne, zwłaszcza w kontekście zastosowań wymagających ciągłego uczenia, takich jak systemy rekomendacyjne, analiza rynku czy robotyka. W takich scenariuszach, brak możliwości efektywnego przyswajania nowych informacji może prowadzić do degradacji wydajności systemu, a w skrajnych przypadkach do konieczności ponownego treningu sieci od podstaw, co jest kosztowne i czasochłonne.

Aby przeciwdziałać utracie plastyczności, kanadyjscy badacze zaproponowali nowe wykorzystanie algorytmu o nazwie: ciągła propagacja wsteczna (continual backpropagation - algorytm polegający na takiej zmianie wag sygnałów wejściowych każdego neuronu w każdej warstwie, by wartość błędu dla kolejnych par uczących była jak najmniejsza).

Jego nowe wykorzystanie polega na tym, że niewielkiej części mniej używanych jednostek sieci losowo nadaje się wartość początkową (ustawianie parametrów początkowych dla systemu) podczas każdego kroku uczenia. Dzięki temu, sieć zachowuje zdolność do adaptacji, a plastyczność jest utrzymywana na wysokim poziomie przez długi czas.

Testy przeprowadzone z użyciem algorytmu ciągłej propagacji wstecznej wykazały, że metoda ta jest skuteczna zarówno w uczeniu nadzorowanym (ang. supervised learning – sposób uczenia, w którym zbiór danych treningowych, na których uczy się algorytm, zawiera dołączone rozwiązanie problemu, tzw. etykiety albo klasy), jak i wzmocnionym (czyli bez zestawu danych uczących; model ma do dyspozycji tylko środowisko [ang. environment], z którego dane zbierane są automatycznie).

Sieci trenowane przy użyciu tego algorytmu były w stanie nie tylko utrzymać plastyczność, ale nawet poprawiać swoje wyniki w miarę dodawania nowych zadań, co było nieosiągalne dla standardowych metod.

„Odkrycia te mają kluczowe znaczenie dla przyszłości sztucznej inteligencji i jej zastosowań w praktyce. Utrzymanie plastyczności w sieciach neuronowych otwiera drzwi do tworzenia bardziej inteligentnych i adaptacyjnych systemów, które będą w stanie uczyć się bardziej efektywnie” – napisali naukowcy.

Więcej informacji w materiale źródłowym. (PAP)

Urszula Kaczorowska

uka/ bar/