Dr. Bolgár Bence Márton tudományos munkatárs, Méréstechnika és Információs Rendszerek Tanszék

A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

1. Bayesi valószínűségelméleti alapfogalmak. Valószínűség, prior, likelihood, posterior. Maximum likelihood (ML), maximum a posteriori (MAP), teljesen bayesi következtetés, modellátlagolás. A teljesen bayesi következtetés nehézségei (példák, mikor van analitikus megoldás). Konjugált priorok (példák, hol használjuk őket).

2. Gépi tanulási alapfogalmak. Generatív és diszkriminatív modellek, diszkriminatív függvények a gépi tanulásban (példák). Bias-variancia dekompozíció, alultanulás, túltanulás, regularizáció. Gyakran használt veszteségfüggvények és regularizációs sémák valószínűségelméleti származtatása. Kiértékelés (CV, AUC, AUPR).
Gyakorlat: bayesi modellek, Python bevezető.

3. Regresszió. Alapfeladat, a lineáris regresszió valószínűségi modellje, ML és MAP becslés, ezekre az analitikus formulák levezetése, a megoldás menete, numerikus szempontok. Teljesen bayesi következtetés. Nem lineáris kiterjesztések: bázisfüggvények alkalmazása,  gyakran használt bázisfüggvények.

4. Klasszifikáció. Alapfeladat, a logisztikus regresszió valószínűségi modellje. Perceptron származtatása a Bayes-tétel felhasználásával, ML és MAP becslés, az iteratív formulák levezetése (szigmoid függvény, gradiens), a megoldás menete, numerikus szempontok.
Gyakorlat: lineáris és nemlineáris klasszifikációs modellek.

5. Neurális hálózatok. MLP architektúra, ML és MAP becslés, a backpropagation algoritmus levezetése. Neurális modellekben használt aktivációs függvények, a regularizáció módjai. Konvolúciós és visszacsatolt architektúrák, az ezekben használt rétegtípusok, példa alkalmazások.

6. Optimalizáció neurális modellekben. Az optimalizáció nehézségei, analitikus és numerikus szempontok. Optimalizációs algoritmusok alapelvei (batch, momentum, adaptív learning rate, magasabb rendű módszerek). Nevezetes algoritmusok.
Gyakorlat: neurális hálózatok.

7. Variációs módszerek. Közelítő bayesi következtetés, ELBO+KL dekompozíció, a variációs módszerek alapelve. BBVI, sztochasztikus gradiens-alapú optimalizáció. Reparametrizációs trükk, VAE. Adversarial training ötlete, GAN architektúrák alapelve.

8. Kernel gépek. Alapötlet, a kernel trükk lényege, gyakran használt kernel függvények. Szupportvektor-gép, veszteségfüggvény (hinge loss) és regularizáció. A duális probléma levezetése a Lagrange-módszerrel. Geometriai interpretáció, maximális margó.
Gyakorlat: variációs közelítés/SVM.

9. Dimenzió-redukció. Főkomponens-analízis: alapötlet, veszteségfüggvény, minimalizálása a Lagrange-módszerrel. Geometriai interpretáció. Kernel PCA.

10. EM algoritmus és klaszterezés. Maximum likelihood becslés nehézségei rejtett változók esetén. Az EM algoritmus levezetése. Gauss keverék-eloszlás, használata klaszterezésben. EM Gauss-keverékekre (az E- és M-lépések származtatása). K-means algoritmus. Spektrális klaszterezés alapötlete, a diszkrét Laplace-operátor tulajdonságai.
Gyakorlat: nemellenőrzött tanulás, klaszterezés.

11. MCMC. Az MCMC módszerek alapelve. Markov-láncok tulajdonságai. Az egyensúlyi eloszlás létezésének elégséges feltétele. Metropolis, Metropolis–Hastings algoritmus. Gibbs-mintavétel, konjugált priorok. Példa: bayesi lineáris regresszió Gibbs mintavétellel.

12. Modellek kombinációja. Bootstrap, bagging, az átlagos hiba alakulása. Exponenciális loss tulajdonságai, összehasonlítása egyéb veszteségfüggvényekkel. Az exponenciális loss minimalizálása gyenge osztályozók lineáris kombinációjával. AdaBoost algoritmus.
Gyakorlat: Következtetés Gibbs-mintavétellel.

13. Aktív tanulás. A K-karú rabló probléma, exploration vs. exploitation tradeoff. Regret definíciója, ennek alakulása különböző stratégiák esetében. Thompson-mintavétel, UCB1 algoritmus, a felső korlát bizonyítása. MCTS algoritmus és modern kiterjesztései (AlphaZero).

14. Federált tanulás. Alapötlet, kihívások. Nevezetes algoritmusok: federated averaging, FedProx. A federált tanulás valószínűségi megközelítései. Federált modellek kiértékelése.
Gyakorlat: K-karú rablók/federált tanulás.

a. A szorgalmi időszakban:
Az előadáshoz kapcsolódóan kéthetente kisfeladatot kell megoldani és határidőre benyújtani. A félévközi aláírás megszerzésének a feltétele a hét kisfeladatból legalább négynek határidőre, elégséges szinten (a megszerezhető pontszám 40%-ának elérése) történő beadása.

b. A vizsgaidőszakban:
Írásbeli beugró után szóbeli vizsga. Az írásbeli beugró csak sikerült/sikertelen jellegű (küszöb a megszerezhető pontok 40%-a), amennyiben sikerült, akkor a vizsga szóbelin kialakuló eredményét már nem befolyásolja. A vizsgára bocsátás feltétele a félévközi aláírás megszerzése.

c. Osztályozás:
A vizsga osztályzata a félévközi feladat (40%) és a vizsgaeredmény (60%) alapján kerül megállapításra.

A tárgy web-lapján közzétett előadási jegyzet, elektronikusan hozzáférhető ajánlott szak­iro­da­lom és kiegészítő információ, valamint web-es linkgyűjtemény.
A tárgy anyagának elsajátításához az alábbi könyvek is nagy segítséget adnak.

Altrichter Márta, Horváth Gábor, Pataki Béla, Strausz György, Takács Gábor, Valyon József: „Neurális hálózatok”, Panem, 2007.
Elektronikus formában (kibővítve): http://mialmanach.mit.bme.hu/neuralis/index

Stuart Russell és Peter Norvig: Mesterséges intelligencia korszerű megközelítésben, 2., átdolgozott kiadás, Panem Kiadó, Budapest, 2006
Elektronikus formában (kibővítve): http://mialmanach.mit.bme.hu/aima/index

Christopher M. Bishop: Pattern Recognition and Machine Learning. Springer, 2006.

Dr. Bolgár Bence Márton tudományos munkatárs, Méréstechnika és Információs Rendszerek Tanszék