Deep-learning a vizuális informatikában

A tantárgy angol neve: Application of Deep Learning in Visual Computing 

Adatlap utolsó módosítása: 2023. február 21.

Budapesti Műszaki és Gazdaságtudományi Egyetem
Villamosmérnöki és Informatikai Kar 		Mérnök Informatikus, MSc, Vizuális Informatika főspecializáció
Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
VIIIMB10   2/1/0/v 5  
3. A tantárgyfelelős személy és tanszék Dr. Szemenyei Márton,
4. A tantárgy előadója

Dr. Szemenyei Márton, adjunktus, IIT 

Varnyú Dóra, doktorandusz, IIT 

5. A tantárgy az alábbi témakörök ismeretére épít Matematika
6. Előtanulmányi rend
Kötelező:
NEM
(TárgyEredmény( "BMEVIIIMA02", "jegy" , _ ) >= 2
VAGY
TárgyEredmény("BMEVIIIMA02", "FELVETEL", AktualisFelev()) > 0)

A fenti forma a Neptun sajátja, ezen technikai okokból nem változtattunk.

A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

Ajánlott:
Matematika
7. A tantárgy célkitűzése A tárgy célja a GPU alapú deep learning technikák alkalmazásának bemutatása a vizuális informatika területén (gépi látás, alakzatfelismerés, textúra és optikai modell szintézis, zajszűrés, szuperfelbontás, tomográfia), megismertetve a hallgatókat a képi információfeldolgozás, valamint a látás alapú robotika feladataival, és ezekre a feladatokra a mélytanulás alkalmazásával. 
8. A tantárgy részletes tematikája

Az előadások részletes tematikája 

1. Bevezetés a számítógépes látásba, alapfeladatok, nehézségek. Képfeldolgozás matematikai alapjai: konvolúció, Fourier transzformáció, szűrés frekvencia tartományban. 

2. Tanuló látás, mérőszámok. Lineáris osztályozás, költségfüggvények, optimalizálási módszerek. Neurális hálózatok alapjai: moduláris backpropagation, többrétegű neurális hálók. 

3. Konvolúciós neurális hálók, Gépi látásban gyakran használt háló architektúrák. Tanuló látás gyakorlati problémái és praktikái. 

4. Deep Learning a gyakorlatban, Konvergencia biztosítása, overfitting elkerülése. Hiperparaméterek keresése, modelltömörítés, ritkítás és együttesek. 

5. Szegmentálás típusai, szemantikus szegmentáló módszerek, U-Net, felskálázási technikák. ASPP és CRF kiegészítések. Adatbázisok, mérőszámok, alkalmazás autonóm járművekben, szimulációs megoldások 

6. Detektáló architektúrák, R-CNN variánsok, YOLO. Fontos metrikák és adatbázisok, anchor-alapú és anchor nélküli megoldások. Mask- és egyéb R-CNN kiegészítések. Önjáró autók vizuális intelligenciája és szenzorai, vezetéshez releváns objektumok felismerése 

7. Videoanalitika, események detektálása videókon, vezető segítő rendszerek. Figyelem típusok: térbeli és csatorna figyelem, ön-figyelem, vizuális transzformerek. 

8. Deep Learning 3D-ben, térbeli struktúrák reprezentációja: voxel, pontfelhő, mesh. Volumetrikus hálók, kd-hálók, ponthálók, mesh-hálók. Többnézetű alkalmazások 

9. Konvolúciós hálók vizualizációja. Textúra generálás, képgenerálás. Fekete-fehér képek színezése, stílus és domain transzfer konvolúciós hálókkal. 

10. Vizuális intelligencia megerősítéses tanulás segítségével, DQN, REINFORCE, Actor-Critic. Számítógépes játékok ágenseinek létrehozása, kemény vizuális figyelem. 

11. Felügyelt tanulás hátrányai és limitációi, kevés adatból történő tanulás lehetőségei: sim2real, few-shot. Kompakt reprezentációk tanulása, önfelügyelt technikák: hiányzó képrészletek kipótlása, objektumok eltüntetése.  

12. Neurális renderelés: a klasszikus számítógépes grafika technikáinak ötvözése mély generatív hálókkal szabályozható és fotorealisztikus képek előállításáért. Differenciálható renderelés: 3D színtérinformációk integrálása a háló tanításába. 

A gyakorlatok/laborok részletes tematikája 

  1. Közlekedési táblák osztályozása konvolúciós neurális hálózatokkal. 

  1. Szemantikus szegmentálás robotfoci környezetben 

  1. Objektumdetektálás robotfoci környezetben 

  1. Videók feldolgozása, események felismerése, objektumkövetés 

  1. Képgenerálás neurális hálózatok segítségével 

  1. Neurális hálók alkalmazása a robotikában, megerősítéses tanulás irányítási és kooperációs problémák megoldására 

9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium) Előadás, egyéni vezetett gyakorlat 
10. Követelmények

Szorgalmi időszakban 

4 db házi feladat sikeres megoldása (összpontszám min. 40%) 

Vizsgaidőszakban 

A hallgatók a félévközi jegyet egy írásbeli vizsgazárthelyi megírása során szerzik. A kisházi pontok összege a vizsgajegybe 25%-ban számít bele. Az osztályzat az alábbi ponthatárok alapján számolódik: 

0-39%: elégtelen 

40-54%: elégséges 

55-69%: közepes 

70-84%: jó 

85-100%: jeles 

 

11. Pótlási lehetőségek A házi feladatok közül egy beadható a pótlási héten is. 
12. Konzultációs lehetőségek Igény esetén előzetesen egyeztetett időpontban konzultációt biztosítunk. 
13. Jegyzet, tankönyv, felhasználható irodalom

  1. Kiadott jegyzet és előadásfóliák 

  1. Ian Goodfellow and Yoshua Bengio and Aaron Courville, Deep Learning, MIT Press, 2016, https://www.deeplearningbook.org/ 

14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
Kontakt óra42
Félévközi készülés órákra15
Felkészülés zárthelyire0
Házi feladat elkészítése38
Kijelölt írásos tananyag elsajátítása15
Vizsgafelkészülés40
Összesen150
15. A tantárgy tematikáját kidolgozta Dr. Szemenyei Márton, adjunktus, IIT