Cilji in kompetence
Cilj predmeta je seznaniti študente z naprednimi arhitekturami nevronskih mrež in tehnikami strojnega učenja globokih modelov, s pomočjo katerih lahko rešujemo težje probleme klasifikacije in regresije pri aplikaciji nevronskih mrež.
Vsebina
• Učenje globokih arhitektur: inicializacija, predobdelava podatkov, optimizacija hiperparametrov, problem izginjajočih gradientov, izboljšane tehnike gradientnega spusta.
• Problem posploševanja: razmerje bias/varianca, povečanje učne množice, regularizacija, ansambelske tehnike, predčasni zaključek učenja, nenadzorovano predučenje.
• Povratne nevronske mreže: navadna povratna mreža, mreža LSTM in GRU, učenje in aplikacije povratnih NM.
• Avtokodirniki: osnovni princip delovanja, redki, razšumni, skrčitveni in variacijski avtokodirniki, aplikacije.
• Generativni modeli nevronskih mrež: nevronske mreže z energijsko funkcijo (Hopfieldova nevronska mreža, Boltzmannovi stroji in omejeni Boltzmannovi stroji), generativna nasprotniška mreža, aplikacije in učni algoritmi.
• Nevronske mreže za grafe: faktorizacija sosednostne matrike, vložitve vozlišč in grafov, konvolucijska mreža za grafe.
• Globoko okrepitveno učenje: algoritmi okrepitvenega učenja, funkcijska aproksimacija z NM, algoritem AlphaZero.
• Napredne tehnike in aplikacije: mehanizem pozornosti v nevronskih mrežah, NM v računalniški animaciji, metode vizualizacije in interpretacije nevronskih mrež.
Predvideni študijski rezultati - znanje in razumevanje
• določiti primerno arhitekturo nevronske mreže za rešitev praktičnega problema klasifikacije ali regresije
• uporabiti primerne tehnike in mehanizme za povečanje hitrosti ali učinkovitosti učenja
• reševati problem napovedovanja v časovnih vrstah in drugih oblikah sekvenciranih podatkov s povratno nevronsko mrežo
• uporabiti avtokodirnik za zmanjšanje dimenzije podatkov in generativni model nevronske mreže za nenadzorovano predučenje
• izvesti okrepitveno učenje za optimizacijo delovanja modela v problemih, ki so predstavljeni s prostori stanj in akcij
Predvideni študijski rezultati - Prenosljive/ključne spretnosti in drugi atributi
• Spretnosti komuniciranja: ustni zagovor laboratorijskih vaj, pisno izražanje pri pisnem izpitu.
• Uporaba informacijske tehnologije: pisanje računalniških programov, uporaba programskih orodij za strojno učenje.
• Spretnosti računanja: reševanje računskih problemov.
• Reševanje problemov: implementacija strojnega učenja na praktičnih problemih.
Temeljni literatura in viri
• Charu C. Aggarwal: Neural Networks and Deep Learning, Springer, Cham, 2018
