Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

Dr. Bolgár Bence Márton óraadó

Dr. Antal Péter egyetemi docens, MIT

Dr. Gázsi András egyetemi docens, MIT 

A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

Az előadások részletes tematikája:

1. Bevezetés: Mesterséges intelligencia, gépi tanulás és adattudomány. A gépi tanulás mint következtetés. Tanulás megfigyelésekből és beavatkozásokból. Megbízható és magyarázható gépi tanulás.
2. Bayesi valószínűségelméleti alapfogalmak. Valószínűség, prior, likelihood, posterior. Maximum likelihood (ML), maximum a posteriori (MAP), teljesen bayesi következtetés, modellátlagolás. A teljesen bayesi következtetés nehézségei (példák analitikus megoldásokra). Konjugált priorok (alkalmazási példák).
3. Regresszió. Alapfeladat, a lineáris regresszió valószínűségi modellje, ML és MAP becslés, analitikus formulák levezetése, a megoldás menete, numerikus szempontok. Teljesen bayesi következtetés. Nem lineáris kiterjesztések: bázisfüggvények alkalmazása,  gyakran használt bázisfüggvények. Bias-variancia dekompozíció, alultanulás, túltanulás, regularizáció.
4. Osztályozás. Alapfeladat, a logisztikus regresszió valószínűségi modellje. Perceptron származtatása a Bayes-tétel felhasználásával, ML és MAP becslés, az iteratív formulák levezetése (szigmoid függvény, gradiens), a megoldás menete, numerikus szempontok.
5. Neurális hálózatok. MLP architektúra, ML és MAP becslés, a backpropagation algoritmus levezetése. Neurális modellekben használt aktivációs függvények.
6. Optimalizáció neurális modellekben. Az optimalizáció nehézségei, analitikus és numerikus szempontok. Optimalizációs algoritmusok alapelvei (batch, momentum, adaptív learning rate, magasabb rendű módszerek). Nevezetes algoritmusok.
7. Regularizáció: Neurális hálózatok tanításának gyakorlati megközelítése. Regularizációs módszerek neurális hálózatokban, súlycsökkentés, korai leállás, dropout.
8. Konvolúciós neurális hálózatok: Konvolúciós neurális hálózatok működési elve; konvolúció, pooling. Lokális mintázatok felismerése és hierarchikus reprezentációk. Klasszikus CNN architektúrák.
9. Transzformerek: A transzformer-architektúra hatása a mélytanulásra, különösen az NLP-ben. Önfigyelmi mechanizmusok, pozicionális kódolás, gépi fordítás és szöveg-összegzés legújabb fejleményei.
10. Gráf neurális hálók: Gráfos gépi tanulás alapvető feladatai. Gráfok reprezentációja. Mély gráf enkóderek. Gráf konvolúciós hálók; klasszikus GNN architektúrák. Túlsimítási jelenség és kezelése.
11. Variációs módszerek. Közelítő bayesi következtetés, ELBO+KL dekompozíció, a variációs módszerek alapelve. BBVI, sztochasztikus gradiens-alapú optimalizáció. Reparametrizációs trükk, VAE. Adversarial training ötlete, GAN architektúrák alapelve.
12. MCMC. Az MCMC módszerek alapelve. Markov-láncok tulajdonságai. Az egyensúlyi eloszlás létezésének elégséges feltétele. Metropolis, Metropolis-Hastings algoritmus. Gibbs-mintavétel, konjugált priorok. Példa: bayesi lineáris regresszió Gibbs mintavétellel.
13. Valószínűségi gráfmodellek: Bayes-hálók és Markov-véletlenmezők használata a változók feltételes függőségeinek modellezésére. Következtetés, struktúratanulás és paraméterbecslés, gyakorlati alkalmazások és következtetési technikák.
14. Döntési-fa együttesek: A CART döntési-fák bevezetése szabálytanulásra, majd kiterjesztése Random Forestre és Gradient-Boosted fákra. Szétválasztási kritériumok, nyesés, hiperparaméter-hangolás, variancia-csökkentő elmélet, jellemző-fontosság/SHAP magyarázhatóság, gyakorlati kérdések (hiányzó értékek kezelése, osztály-egyensúlytalanság, GPU-gyorsított tanítás).

A gyakorlatok részletes tematikája:

1. Naive Bayes osztályozó: Többosztályos Gauss-Naive Bayes kézi implementálása, poszterior-számítás log-térben, valamint alapvető teljesítménymutatók (pontosság, F1) kiszámítása és értelmezése.
2. Lineáris és polinomiális regresszió: ML- és MAP-becslések analitikus levezetése, regularizációs megoldások (Ridge/Lasso) hiperparaméter-hangolással; szimulált és valós adatokon hibagörbék készítése és értékelése.
3. Logisztikus regresszió és többrétegű perceptron: Gradiens-csökkentéses tanítás batch / mini-batch módban, automatikus differenciálás használata, valamint két-rétegű MLP összeállítása és tanulási görbék monitorozása.
4. Konvolúciós neurális háló: Egyszerű CNN felépítése (Conv-ReLU-Pool-FC) képosztályozási feladatra, regularizációs technikák (Dropout, BatchNorm) alkalmazása, túltanulás-diagnosztika és korai megállítás.
5. Transformerek: Önfigyelmi mechanizmus, több fejű figyelmi mechanizmus, pozicionális kódolás; mini nyelvi modell tanítása, veszteséggörbék és generált szövegminták kiértékelése.
6. Kauzális gráf-felfedezés: Bayes-háló struktúra-tanulási algoritmusok megvalósítása, megfigyelési vs. intervenciós adatok kezelése, kauzális irányok validálása szintetikus benchmarkon.

Elektronikus jegyzet.

Christopher M. Bishop, Hugh Bishop: Deep Learning. Foundations and Concepts. Springer Cham (2024) ISBN: 978-3-031-45467-7

Stuart Russell, Peter Norvig: Artificial Intelligence: A Modern Approach (4th ed.). Pearson (2021) ISBN: 978-1-292-40113-3

Dr. Gézsi András, egyetemi docens, MIT

Dr. Antal Péter, egyetemi docens, MIT