Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

• kötelező tanulmányaik során már megismerkedtek ezekkel (pl. Mérnökinformatikus BSc szakmai törzsanyag VIMIAC16 Mesterséges intelligencia tárgy), vagy 
• a gépi tanulás szakterületi alkalmazásával kapcsolatos témán dolgoznak valamelyik projekttárgyukban (Önálló laboratórium, Szakdolgozat-készítés, Diplomatervezés), és hasznosnak tartják, ha alapismereteiket kiegészítik a mesterséges intelligencia rendszerek életciklusának gyakorlatias áttekintésével.

A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

Az előadások részletes tematikája

1.    hét
Bevezetés az MLOps világába. Az MLOps célja és szerepe a gépi tanulás gyakorlatában. Az ML életciklusa és a DevOps összehasonlítása. Reprodukálhatóság, skálázhatóság, automatizálás fogalmai. Szerepkörök az MLOps-ban. Az MLOps eszközök áttekintése (Git, Docker, MLflow, CI/CD).
2.    hét
Reprodukálható futtatókörnyezet és lokális MLOps platform alapjai. Mi a különbség a fejlesztői futtatás és a reprodukálható, újraépíthető környezet között. Artifact és metaadat szerepe, tárolása.
3.    hét
Kísérletkövetés és modellmenedzsment (MLflow) mérnöki szemlélettel. Paraméterek, metrikák, ábrák, fájlok logolása. A model-registry szerepe: verziók, állomások (staging/production), “promotion” és traceability. Reprodukálhatóság: környezet, függőségek, random seed, adathalmaz logolása.
4.    hét
Adatverziózás és adat-életciklus a modell-életciklus részeként (DVC + MinIO). Miért külön probléma az adatreprodukálhatóság? Dataset snapshot, pipeline stage-ek, “data lineage” alapok: melyik modell melyik adatverzióból készült.
5.    hét
Adatminőség, data contracts és minőségkapuk az MLOps-ban. Adathibák típusai (schema, hiányzó értékek, tartományhibák, duplikáció, eloszlásváltozás). Data contract szemlélet: mit garantál az adat a modellnek. Training-serving skew fogalma. Az adatvalidáció szerepe, mint automatizált “quality gate” a pipeline-ban.
6.    hét
Modell minőségkapu: automatizált kiértékelési és döntési pont. Metrika-regresszió, elfogadási kritérium. Slice alapú kiértékelés: teljesítmény alcsoportonként. Bevezető a Responsible AI-ba: egyszerű fairness jellegű ellenőrzések.
7.    hét
CI/CT (Continuous Training) elvek a gépi tanulásban. Miért különbözik a klasszikus CI-től? Verziókezelési stratégiák ML projekthez (branching, release tag, modell verzió). Automatikus tesztelés típusai: unit, data tests, eval tests.
8.    hét
Orchestration és üzemeltethető ML workflow-k. Ütemezés, újrafuttatás, retry, paraméterezés, megfigyelhetőség a workflow szintjén. A pipeline szerepe: futások nyomon követése és operációs megbízhatóság.
9.    hét
Modell szolgáltatás és deployment minták. Batch vs online inferencia, késleltetés/áteresztőképesség alapfogalmak, modellverziózás serving környezetben. Konténerizáció szerepe: környezetazonosság és skálázás. Kubernetes szerepe ML rendszerekben: deklaratív deploy és rollout minták.
10.    hét
Verziókezelés és kontrollált bevezetés (rollout). Canary/blue-green szemlélet: miért kell fokozatos kivezetés és visszagörgetés. “Smoke test” és alap terhelési próba szerepe.
11.    hét
Megfigyelhetőség ML rendszerekben: metrikák, Service Level Indicator (SLI), Service Level Objective (SLO), riasztás. Mi a különbség log/metric/trace között, mit mérünk és miért. SLO gondolkodás: elfogadható szolgáltatási szint és a riasztások elkerülése (“alert fatigue”).
12.    hét
Drift és teljesítményromlás: detektálás és reakció. Adatdrift vs koncepciódrift fogalma, miért nem elég a szolgáltatás metrikáit figyelni. Monitorozási stratégiák: adatminőség a prod-ban, modellminőség visszamérése, proxy metrikák. Reakció: retraining trigger, rollback, “investigate first” folyamat.
13.    hét
Governance és Responsible AI klasszikus ML rendszerekben. Auditálhatóság és nyomon követhetőség: miért kell “evidence” (adatverzió, kódfutás, metrikák). Model card mint mérnöki dokumentum: cél, adat, metrikák, korlátok, ismert kockázatok. Incidenskezelés: “mi számít incidensnek”, postmortem szemlélet, rollback/kill-switch. 
14.    hét
A kurzus összefoglalása és felhő-alapú alternatívák (pl. Azure ML) bemutatása. Kitekintés az LLM alapú rendszerek üzemeltetésére (LLMOps).
Zárthelyi Dolgozat.

A gyakorlatok/laborok részletes tematikája
1.    hét
Laborfeladat: Platform-független fejlesztői környezet létrehozása (Windows/Linux/macOS): Python, Git, Docker. Repo-szerkezet és alap konvenciók áttekintése: futtatható entry point, konfigurációs minták (pl. .env), egyszerű baseline ML pipeline futtatása és verziókezelése (commit + futási paraméterek rögzítése).
2.    hét
Laborfeladat: Lokális szolgáltatások indítása Docker Compose-zal olyan módon, hogy a metaadat és artifact kezelése szétváljon, és perzisztensen megmaradjon: artifact/data store (pl. MinIO) + kísérlet/metaadat nyilvántartás (pl. MLflow) + adatbázis háttér (pl. Postgres) + alap konfiguráció. Egységes “egy parancsos” indítás, alap ellenőrzési lépések.
A házi feladatokhoz kapcsolódó saját MLOps projekt témájának definiálása, adatforrás keresése.
3.    hét
Laborfeladat: MLflow Tracking és Registry használata: baseline modell futtatása, metrikák/ábrák logolása, modell regisztráció, staging-be helyezés. Futtatások összehasonlítása, rövid technikai értelmezés.
4.    hét
Laborfeladat: DVC bevezetése: adat hozzáadása DVC-hez, MinIO mint remote storage; dvc.yaml pipeline (pl. prepare, train, evaluate), és a futások összekötése MLflow run-nal (adat-revízió hivatkozása).
Házi feladat 1: Alapszintű MLOps projekt létrehozása adatverziózással, kísérletkövetéssel és modellmenedzsmenttel. Beadási határidő: 5. oktatási hét, utolsó munkanap 16:00
5.    hét
Laborfeladat: Bevezetés adatvalidációs eszközökbe (Great Expectations vagy Pandera): szabályok, tesztek, riportok. Validáció beillesztése az adat-előkészítő pipeline-ba.
6.    hét
Laborfeladat: Evaluációs pipeline: baseline metrikák rögzítése, regresszióteszt implementálása, slice metrikák számítása, döntési szabály.
Házi feladat 2: MLOps projekt kiegészítése automatikusan futtatható adatvalidációval és kiértékeléssel, valamint dokumentált minőségküszöbökkel (miért ezek, milyen kockázatot csökkentenek), “go/no-go” döntési logikával. Beadási határidő: 7. oktatási hét, utolsó munkanap 16:00
7.    hét
Laborfeladat: Egyszerű CI workflow készítése, amely lintelést, tesztelést, modell tanítást és kiértékelést tartalmaz.
8.    hét
Laborfeladat: Prefect flow elkészítése a teljes tanítási láncra (prepare, validate, train, evaluate, register). Paraméterezés (pl. adatverzió, modellparaméter), retry politika, ütemezés (pl. heti).
Házi feladat 3: End-to-end tréning és kiértékelési lánc Prefect flow-ba szervezése paraméterezhetőséggel és alap hiba-/újrapróbálkozás (retry) kezeléssel, rövid futtatási dokumentációval. Beadási határidő: 9. oktatási hét, utolsó munkanap 16:00
9.    hét
Laborfeladat: Kubernetes lokális környezet használata előkészített sablonból. KServe fogalmak áttekintése és első modell deployment. 
10.    hét
Laborfeladat: KServe InferenceService készítése, legalább két modellverzió kezelése (revision), egyszerű traffic split bemutatása (pl. 90/10), endpoint tesztek (health + inference).
Házi feladat 4: Modell kiszolgálás KServe segítségével, legalább két verzió (revision) kezelése és dokumentált verzióváltás/rollout bemutatása, egyszerű smoke teszttel és rollback forgatókönyv vázlattal. Beadási határidő: 11. oktatási hét, utolsó munkanap 16:00
11.    hét
Laborfeladat: Prometheus + Grafana alapok: metrikagyűjtés, dashboard készítés. Serving metrikák megjelenítése (késleltetés, kérésszám, hibaarány), alap riasztási szabály elvi kialakítása.
12.    hét
Laborfeladat: Drift riport készítése (pl. Evidently vagy saját statisztikák), drift jelzések dokumentálása. Riasztási szabály hozzáadása (pl. latency/error + drift jellegű küszöb). Prefect flow-ba opcionális retraining trigger bekötése (pl. kézi indítás + paraméter).
Házi feladat 5: Megfigyelhetőség biztosítása (Grafana dashboard + legalább egy riasztási szabály), valamint drift elemzés új adatkörnyezeten, a jelzések értelmezésével és a lehetséges beavatkozási lépések rövid leírásával. Beadási határidő: 13. oktatási hét, utolsó munkanap 16:00
13.    hét
Laborfeladat: Model card sablon kitöltése a projektre. Incidens-szimuláció: romló metrika vagy drift esetén döntési folyamat.
14.    hét
Tartalék alkalom

Szorgalmi időszakban:

Laborok 70%-ának teljesítése.
A 13 laboratóriumi gyakorlat esetén legalább 10-et, ha a szorgalmi időszakban hétközi munkaszüneti nap vagy oktatási szünet miatt laboratóriumi gyakorlat elmarad, akkor 12 laboratóriumi gyakorlat esetén legalább 9-et, 11 laboratóriumi gyakorlat esetén legalább 8-at sikeresen kell teljesíteni.
Az öt kis házi feladat legalább négy elégséges szintű teljesítése (az elérhető pontszám legalább felét kell megszerezni legalább négy esetben külön-külön).
Zárhelyi dolgozat legalább elégségesre való teljesítése (az elérhető pontszám legalább felét kell megszerezni).
A fenti feltételek teljesülése esetén, a félévi jegy számítása az alábbiak szerint: 
A kis házifeladatok átlaga a félévei jegy 60%-át, a ZH a jegy 40%-át adja.
Félévi jegy = 0.6*(HF1+HF2+HF3+HF4+HF5)/5 + ZH*0,4

Vizsgaidőszakban    - 

• A mulasztott vagy sikertelen laborgyakorlatok nem pótolhatók.
• Az öt kis házi feladat közül egy a pótlási héten pótolható.
• A meg nem írt vagy sikertelen zárthelyi dolgozat a pótlási héten egy alkalommal pótzárthelyi dolgozattal pótolható, pót-pót zárthelyi nincs.

A tárgy honlapján elhelyezett anyagok.

• Chip Huyen: Designing Machine Learning Systems, O’Reilly Media, 2022.
• Noah Gift, Alfredo Deza: Practical MLOps, O’Reilly Media, 2021.