Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

    Belépés
    címtáras azonosítással

    vissza a tantárgylistához   nyomtatható verzió    

    Számítógépes látórendszerek

    A tantárgy angol neve: Computer Vision Systems

    Adatlap utolsó módosítása: 2019. január 27.

    Budapesti Műszaki és Gazdaságtudományi Egyetem
    Villamosmérnöki és Informatikai Kar

    Villamosmérnöki szak, MSc képzés

    Irányítórendszerek főspecializáció 

    Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
    VIIIMA07 1 2/1/0/v 4  
    3. A tantárgyfelelős személy és tanszék Dr. Vajta László, Irányítástechnika és Informatika Tanszék
    A tantárgy tanszéki weboldala http://3dmr.iit.bme.hu/edu/szgl
    4. A tantárgy előadója
    NévBeosztásTanszék, Int.
    Szemenyei Mártonegyetemi tanársegédIrányítástechnika és Informatika Tanszék
    5. A tantárgy az alábbi témakörök ismeretére épít

    Képfeldolgozás alapjai

    6. Előtanulmányi rend
    Kötelező:
    NEM ( TárgyEredmény( "BMEVIIIM128" , "jegy" , _ ) >= 2
    VAGY
    TárgyEredmény("BMEVIIIM128", "FELVETEL", AktualisFelev()) > 0 )
    VAGY Szak("6N-MA") VAGY Szak("6NAMAR") //KJK AVCE

    A fenti forma a Neptun sajátja, ezen technikai okokból nem változtattunk.

    A kötelező előtanulmányi rendek grafikus formában itt láthatók.

    Ajánlott:
    • Matematika
    7. A tantárgy célkitűzése

    A tantárgy célja a hallgatókat megismertetni a képfeldolgozás létező technikáival, mind a rutinszerűen megoldható egyszerűbb, mind a bonyolultabb módszerekkel, egyensúlyban tartva az elméleti és gyakorlati kérdéseket. Se a lefedett problémakör, se az azokat kezelő, felsorolt megoldások nem teljesek. Célunk azt biztosítani, hogy a hallgatók a kapott ismeretek alapján a későbbiekben képesek legyenek a tanult módszerek alternatíváit a választáshoz szükséges mértékben megérteni, mind az elmélet, mind a praktikum szempontjából. A tematikát a két- és három-dimenziós képfeldolgozás és a képérzékelő és képfeldolgozó HW megválasztásának kérdései szerint tagoljuk.

    8. A tantárgy részletes tematikája

     

    1. Előadás: Kép fogalma, pixel, pixeltömb. Kép és videofolyam létrehozása. Fekete fehér, színes képek. 3D képek létrehozása. Képfeldolgozás és számítógépes látás fogalma, Színkorrekció, kontraszt, hisztogram

    Gyakorlat: Kép előkészítése, feldolgozása. Képtartalom javítása. Képek alapvető hibái, zaj torzítások. Zajszűrési technikák. Konvolúció. Geometriai mérések: Gradiensek és magasabb deriváltak, momentumok, kaszkád Hough

    2. Előadás: Képpárosítás: A megoldandó feladat, robusztus feldolgozási fokozatok. SIFT módszer, elmélet, a Gauss szűrő kitüntetett szerepe, praktikák, paraméterek, fontosabb alternatívák. KLT, Farneback. Harris detektor, szubpixeles pontosság kérdése

    3. Előadás: Szegmentálás. Küszöbözés, többcsatornás küszöbözés. Textúra alapú szegmentálás. Egyéb megoldások, K-Means, Meanshift, gráfvágás, watershed

    Gyakorlat: Bináris képek kiértékelése. Bool műveletek. Erózió, dilatáció. Nyitás, zárás. Tulajdonságalapú mérések. Méretek, felület, hossz, görbület. Számlálás. Egyenes/szakasz, kör/ellipszis

    4. Előadás: Mozgásanalízis. Optical flow, Lucas-Kanade, HMM, Tracking markerekkel, sok kamerával

    5. Előadás: Bevezetés a gépi tanulásba, Hibafüggvény, optimalizálás, regularizáció, Lineáris modell, SVM

    Gyakorlat: Többrétegű és konvolúciós neurális hálók, backpropagation, háló struktúrák, tanítás a gyakorlatban

    6. Előadás: Videó feldolgozása, sorozatok, Sorozatok feldolgozása, visszacsatolt hálók, LSTM, GRU

    7. Előadás: Magas szintű vizuális feladatok. Lokalizáció, Detektálás, Szemantikus- és példány szegmentálás. Speciális architektúrák

    Gyakorlat: Vizualizáció és hibakeresés, Generatív modellek, Variációs Autoencoder, GAN

    8. Előadás: Megerősítéses tanulás a vizuális intelligencia fejlesztésére, DQN, REINFORCE, Actor-critic hálók

    9. Előadás: Kép koordinátarendszerének megválasztása, következmények. A projektív képalkotás modellje, kameramodell, kameramátrix, valódi optikák. Hiearchikus feldolgozás sémája, alulmintavételezés kérdései, geometriai transzformációk a képen, ill. a méréseken.

    Gyakorlat: Projekciós mátrix és 6 pontos kamerakalibráció, elmélet. 3 sakktáblás kalibráció. A lineáris algebra numerikus módszereinek elérhetősége: Matlab, Eigen, TNT. OpenCV

    10. Előadás: Epipoláris geometria, esszenciális mátrix, fundamentális mátrix. 7 és 8 pontos kalibráció. Diszparitás meghatározása.

    11. Előadás: A 3D rekostrukció, bizonytalanasága: globális transzformációra nézve, ill. a rekonstrált távolságokra nézve, elfajuló esetek, praktikus problémák. 3D adatok feldolgozása.

    Gyakorlat: Valósidejűség a gépi látás során. Az alapvető módszerek használhatósága különféle környezetekben. Kis erőforrást biztosító rendszerek.

    12. Előadás: SIMD megoldások. Adatfolyamfeldolgozás. GPU. Elérhető eszközök, tulajdonságaik. Párhuzamos algoritmusok. Előfeldolgozás GPU-n, szűrések, küszöbözés, torzításmentesítés. Frekvenciatartománybeli megoldások

    13. Előadás: Hardveralapú megoldások. Programozható hardver. Lehetőségek. Előfeldolgozás, szűrések, küszöbözés, torzításmentesítés. Pipeline megoldások, Super-pipeline, programozható pipeline. Újrakonfigurálható megoldások. TPU

    Gyakorlat: Geometriai torzítás kiküszöbölése. Kép feldolgozása frekvenciatartományban, szűrések, Fourier transzformáció, FFT

    14. Előadás: Készülés vizsgára, konzultáció 

    9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium)

     

    A tantárgy előadásokon elhangzó, továbbá a heti rendszerességgel kiadott, az otthoni tanulást támogató elméleti anyagra és a tanultak alkalmazását segítő gyakorlati példákra, valamint az otthon elsajátított anyagrészekről tartott konzultációkra épít.


     

    10. Követelmények
      • Szorgalmi időszakban, aláírásért:
        Zárthelyi dolgozat.
        Az aláírás megszerzésének feltétele a pontok 40%-ának teljesítése.
        A zárthelyi dolgozat során szerzett pontok 20% mértékben számítanak be a vizsgajegybe. (Javító vizsga esetén kérhető, hogy a zárthelyi dolgozat során megszerzett pontok ne számítsanak bele a végeredménybe)
      • Vizsgaidőszakban, jegyért:
        írásbeli vizsga
        A kreditpont megszerzésének feltétele legalább elégséges vizsgaosztályzat elérése. (Ehhez a pontok 40%-át kell elérni)
      • Elővizsga:
        A tárgy keretében elővizsgára nincs lehetőség

      Minden egyéb kérdésében a TVSZ rendelkezései irányadók.


    11. Pótlási lehetőségek
      • A zárthelyi dolgozatok teljesítésére pót-alkalmat biztosítunk.
      • A vizsgaidőszakban három vizsgaalkalom kerül kiírásra, sikertelen vizsga esetén a vizsga egy másik előre kiírt alkalommal ismételhető.

      Minden egyéb kérdésében a TVSZ rendelkezései irányadók.


    12. Konzultációs lehetőségek

    Órák előtt és után, valamint külön megkeresés alapján, egyeztetés szerint.

    13. Jegyzet, tankönyv, felhasználható irodalom
      • Előadásokon kivetített prezentációk PDF formátumban
      • Rafael C. Gonzalez, Richard E. Wood: Digital Image Processing
      • John C. Russ: The Image Processing Handbook
      • Besl, P.J.: "Surfaces in range image understanding", Springer, 1988
      • Computer Vision online tananyag: http://www.dai.ed.ac.uk/CVonline/
    14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka

    Kontakt óra

    42

    Félévközi készülés órákra

    10

    Felkészülés zárthelyire

    12

    Házi feladat elkészítése

     

    Kijelölt írásos tananyag elsajátítása

    28

    Vizsgafelkészülés

    28

    Összesen

    120

    15. A tantárgy tematikáját kidolgozta
    NévBeosztásTanszék, Int.

    Dr. Vajta László

    egyetemi docens

    Irányítástechnika és Informatika Tanszék

    Dr. Vajda Ferenc

    egyetemi docens

    Irányítástechnika és Informatika Tanszék