Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

    Belépés
    címtáras azonosítással
    vissza a tantárgylistához   nyomtatható verzió    

    Deep-learning a vizuális informatikában

    A tantárgy angol neve: Application of Deep Learning in Visual Computing 

    Adatlap utolsó módosítása: 2023. február 21.

    Budapesti Műszaki és Gazdaságtudományi Egyetem
    Villamosmérnöki és Informatikai Kar     		Mérnök Informatikus, MSc, Vizuális Informatika főspecializáció
    Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
    VIIIMB10   2/1/0/v 5  
    3. A tantárgyfelelős személy és tanszék Dr. Szemenyei Márton,
    4. A tantárgy előadója

    Dr. Szemenyei Márton, adjunktus, IIT 

    Varnyú Dóra, doktorandusz, IIT 

    5. A tantárgy az alábbi témakörök ismeretére épít Matematika
    6. Előtanulmányi rend
    Kötelező:
    NEM
    (TárgyEredmény( "BMEVIIIMA02", "jegy" , _ ) >= 2
    VAGY
    TárgyEredmény("BMEVIIIMA02", "FELVETEL", AktualisFelev()) > 0)

    A fenti forma a Neptun sajátja, ezen technikai okokból nem változtattunk.

    A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

    Ajánlott:
    Matematika
    7. A tantárgy célkitűzése A tárgy célja a GPU alapú deep learning technikák alkalmazásának bemutatása a vizuális informatika területén (gépi látás, alakzatfelismerés, textúra és optikai modell szintézis, zajszűrés, szuperfelbontás, tomográfia), megismertetve a hallgatókat a képi információfeldolgozás, valamint a látás alapú robotika feladataival, és ezekre a feladatokra a mélytanulás alkalmazásával. 
    8. A tantárgy részletes tematikája

    Az előadások részletes tematikája 

    1. Bevezetés a számítógépes látásba, alapfeladatok, nehézségek. Képfeldolgozás matematikai alapjai: konvolúció, Fourier transzformáció, szűrés frekvencia tartományban. 

    2. Tanuló látás, mérőszámok. Lineáris osztályozás, költségfüggvények, optimalizálási módszerek. Neurális hálózatok alapjai: moduláris backpropagation, többrétegű neurális hálók. 

    3. Konvolúciós neurális hálók, Gépi látásban gyakran használt háló architektúrák. Tanuló látás gyakorlati problémái és praktikái. 

    4. Deep Learning a gyakorlatban, Konvergencia biztosítása, overfitting elkerülése. Hiperparaméterek keresése, modelltömörítés, ritkítás és együttesek. 

    5. Szegmentálás típusai, szemantikus szegmentáló módszerek, U-Net, felskálázási technikák. ASPP és CRF kiegészítések. Adatbázisok, mérőszámok, alkalmazás autonóm járművekben, szimulációs megoldások 

    6. Detektáló architektúrák, R-CNN variánsok, YOLO. Fontos metrikák és adatbázisok, anchor-alapú és anchor nélküli megoldások. Mask- és egyéb R-CNN kiegészítések. Önjáró autók vizuális intelligenciája és szenzorai, vezetéshez releváns objektumok felismerése 

    7. Videoanalitika, események detektálása videókon, vezető segítő rendszerek. Figyelem típusok: térbeli és csatorna figyelem, ön-figyelem, vizuális transzformerek. 

    8. Deep Learning 3D-ben, térbeli struktúrák reprezentációja: voxel, pontfelhő, mesh. Volumetrikus hálók, kd-hálók, ponthálók, mesh-hálók. Többnézetű alkalmazások 

    9. Konvolúciós hálók vizualizációja. Textúra generálás, képgenerálás. Fekete-fehér képek színezése, stílus és domain transzfer konvolúciós hálókkal. 

    10. Vizuális intelligencia megerősítéses tanulás segítségével, DQN, REINFORCE, Actor-Critic. Számítógépes játékok ágenseinek létrehozása, kemény vizuális figyelem. 

    11. Felügyelt tanulás hátrányai és limitációi, kevés adatból történő tanulás lehetőségei: sim2real, few-shot. Kompakt reprezentációk tanulása, önfelügyelt technikák: hiányzó képrészletek kipótlása, objektumok eltüntetése.  

    12. Neurális renderelés: a klasszikus számítógépes grafika technikáinak ötvözése mély generatív hálókkal szabályozható és fotorealisztikus képek előállításáért. Differenciálható renderelés: 3D színtérinformációk integrálása a háló tanításába. 

    A gyakorlatok/laborok részletes tematikája 

    1. Közlekedési táblák osztályozása konvolúciós neurális hálózatokkal. 

    1. Szemantikus szegmentálás robotfoci környezetben 

    1. Objektumdetektálás robotfoci környezetben 

    1. Videók feldolgozása, események felismerése, objektumkövetés 

    1. Képgenerálás neurális hálózatok segítségével 

    1. Neurális hálók alkalmazása a robotikában, megerősítéses tanulás irányítási és kooperációs problémák megoldására 

    9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium) Előadás, egyéni vezetett gyakorlat 
    10. Követelmények

    Szorgalmi időszakban 

    4 db házi feladat sikeres megoldása (összpontszám min. 40%) 

    Vizsgaidőszakban 

    A hallgatók a félévközi jegyet egy írásbeli vizsgazárthelyi megírása során szerzik. A kisházi pontok összege a vizsgajegybe 25%-ban számít bele. Az osztályzat az alábbi ponthatárok alapján számolódik: 

    0-39%: elégtelen 

    40-54%: elégséges 

    55-69%: közepes 

    70-84%: jó 

    85-100%: jeles 

     

    11. Pótlási lehetőségek A házi feladatok közül egy beadható a pótlási héten is. 
    12. Konzultációs lehetőségek Igény esetén előzetesen egyeztetett időpontban konzultációt biztosítunk. 
    13. Jegyzet, tankönyv, felhasználható irodalom

    1. Kiadott jegyzet és előadásfóliák 

    1. Ian Goodfellow and Yoshua Bengio and Aaron Courville, Deep Learning, MIT Press, 2016, https://www.deeplearningbook.org/ 

    14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
    Kontakt óra42
    Félévközi készülés órákra15
    Felkészülés zárthelyire0
    Házi feladat elkészítése38
    Kijelölt írásos tananyag elsajátítása15
    Vizsgafelkészülés40
    Összesen150
    15. A tantárgy tematikáját kidolgozta Dr. Szemenyei Márton, adjunktus, IIT