Naukowiec z PW bada zastosowania AI i głębokich sieci neuronowych do analizy i tworzenia muzyki

Źródło: mat. pras. PW
Źródło: mat. pras. PW

Czy w nowoczesnej muzyce dyrygenta zastąpią algorytmy sztucznej inteligencji (AI)? W których brzmieniach przyszłości komputerowe bity wyprą muzyczne nuty? Dr inż. Mateusz Modrzejewski z Politechniki Warszawskiej prowadzi pionierskie w skali światowej prace na temat zastosowań AI i głębokich sieci neuronowych do analizy oraz tworzenia muzyki.

A gdyby tak instrumenty nauczyły się same grać? Czy skomponowana w ten sposób muzyka odbiegałaby od napisanych przez człowieka kompozycji? Czy jesteśmy w stanie nauczyć maszyny rozumieć muzykę tworzoną przez człowieka? To właśnie na tego typu pytania z domeny music information retrieval szuka odpowiedzi dr inż. Mateusz Modrzejewski z Zakładu Grafiki Komputerowej Wydziału Elektroniki i Technik Informacyjnych PW. Te pionierskie w skali światowej badania prowadzone są w laboratoriach warszawskiej uczelni.

„W prowadzonych badaniach łączę swoje dwie największe pasje; muzykę oraz zagadnienia związane z głębokimi sieciami neuronowymi będącymi podstawą uczenia maszynowego i zastosowań sztucznej inteligencji” – wyjaśnia dr inż. Mateusz Modrzejewski, cytowany w komunikacie PW. - Jako jazzowy perkusista z bogatym doświadczeniem scenicznym znam i rozumiem strukturę muzyki, a jako inżynier zapisuję ją nie tylko w postaci nut, ale także przedstawiam w języku komputerowym. A to jest doskonały zbiór danych wejściowych do maszynowego przetwarzania, analizy i komponowania utworów przez algorytmy sztucznej inteligencji”.

Jak opisano w komunikacie, badania dr inż. Modrzejewskiego opierają się na wykorzystaniu głębokich modeli neuronowych, w tym sieci rekurencyjnych i generatywnych sieci typu GAN oraz nowoczesnych reprezentacji opartych na podejściu transfer learning.

"Nowe metody opracowywane są z wykorzystaniem dużych zbiorów danych w formacie audio i w formatach symbolicznych, takich jak MIDI (Musical Instruments Digital Interface). Po przetworzeniu poszczególnych utworów z wykorzystaniem algorytmów sztucznej inteligencji, możliwe jest wygenerowanie zupełnie nowej muzyki spełniającej określone założenia czy też trafna i dokładna klasyfikacja istniejącej muzyki według zadanych kryteriów, takich jak identyfikacja wokalisty, nastroju i instrumentów czy też rozpoznanie gatunku muzycznego. Autorskie rozwiązania przedstawione zostały na konferencji Artificial Intelligence and Soft Computing" - informuje PW.

„Muzyka jest bardzo abstrakcyjnym komunikatem, głęboko zakorzenionym w ludzkiej inteligencji i wrażliwości. W przypadku generowania muzyki, uwypuklamy aspekt kompozycyjny - kodujemy nuty w postaci ekspresyjnych reprezentacji tekstowych lub w formie graficznej zwanej piano roll. Sztuczna inteligencja staje się tu sprzymierzeńcem ludzkiego kompozytora, dostarcza nowych melodii, struktur i rozwiązań. Wspomagamy ludzką inteligencję i kreatywność za pomocą technik AI" - wskazuje dr inż. Modrzejewski.

"Z kolei w przypadku analizy, korzystamy z technik cyfrowego przetwarzania sygnałów i badamy reprezentacje wyuczone przez głębokie sieci neuronowe. Te reprezentacje w naturalny sposób pozwalają maszynom zrozumieć treść zawartą w muzyce, a więc na przykład również zarekomendować słuchaczowi nową muzykę do posłuchania, z uwzględnieniem spersonalizowanych preferencji” – dodaje badacz.

Dr inż. Mateusz Modrzejewski opracowane koncepcje rozwija pod opieką prof. Przemysława Rokity w Zakładzie Grafiki Komputerowej Wydziału Elektroniki i Technik Informacyjnych PW. Jak czytamy w komunikacie, jest też perkusistą koncertującym m.in. w Chinach, Wietnamie, Niemczech, Szkocji, Anglii, Estonii, Ukrainie, oraz na wielu festiwalach i wydarzeniach muzycznych w Polsce. W 2020 r. został laureatem stypendium „Kultura w Sieci” Ministra Kultury i Dziedzictwa Narodowego. W ubiegłym roku był nominowany - jako członek zespołu Majki Jeżowskiej - do nagrody Fryderyk za płytę „Live at Pol’and’ rock”.

PAP - Nauka w Polsce

agt/

Fundacja PAP zezwala na bezpłatny przedruk artykułów z Serwisu Nauka w Polsce pod warunkiem mailowego poinformowania nas raz w miesiącu o fakcie korzystania z serwisu oraz podania źródła artykułu. W portalach i serwisach internetowych prosimy o zamieszczenie podlinkowanego adresu: Źródło: naukawpolsce.pl, a w czasopismach adnotacji: Źródło: Serwis Nauka w Polsce - naukawpolsce.pl. Powyższe zezwolenie nie dotyczy: informacji z kategorii "Świat" oraz wszelkich fotografii i materiałów wideo.

Czytaj także

  • Fot. Adobe Stock

    Uczelnia i trzy firmy otrzymają 217 mln zł na cztery projekty dot. rozwiązań chmurowych

  • 03.06.2024. Wicepremier, minister cyfryzacji Krzysztof Gawkowski. PAP/Marcin Obara

    Gawkowski: budowa nowoczesnej Polski wymaga współpracy nauki, biznesu i instytucji publicznych

Przed dodaniem komentarza prosimy o zapoznanie z Regulaminem forum serwisu Nauka w Polsce.

newsletter

Zapraszamy do zapisania się do naszego newslettera