Számítógépes látórendszerek

A tantárgy angol neve: Computer Vision Systems

Adatlap utolsó módosítása: 2019. január 27.

Budapesti Műszaki és Gazdaságtudományi Egyetem
Villamosmérnöki és Informatikai Kar

Villamosmérnöki szak, MSc képzés

Irányítórendszerek főspecializáció 

Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
VIIIMA07 1 2/1/0/v 4  
3. A tantárgyfelelős személy és tanszék Dr. Vajta László,
A tantárgy tanszéki weboldala http://3dmr.iit.bme.hu/edu/szgl
4. A tantárgy előadója
NévBeosztásTanszék, Int.
Szemenyei Mártonegyetemi tanársegédIrányítástechnika és Informatika Tanszék
5. A tantárgy az alábbi témakörök ismeretére épít

Képfeldolgozás alapjai

6. Előtanulmányi rend
Kötelező:
NEM ( TárgyEredmény( "BMEVIIIM128" , "jegy" , _ ) >= 2
VAGY
TárgyEredmény("BMEVIIIM128", "FELVETEL", AktualisFelev()) > 0 )
VAGY Szak("6N-MA") VAGY Szak("6NAMAR") //KJK AVCE

A fenti forma a Neptun sajátja, ezen technikai okokból nem változtattunk.

A kötelező előtanulmányi rendek grafikus formában itt láthatók.

Ajánlott:
  • Matematika
7. A tantárgy célkitűzése

A tantárgy célja a hallgatókat megismertetni a képfeldolgozás létező technikáival, mind a rutinszerűen megoldható egyszerűbb, mind a bonyolultabb módszerekkel, egyensúlyban tartva az elméleti és gyakorlati kérdéseket. Se a lefedett problémakör, se az azokat kezelő, felsorolt megoldások nem teljesek. Célunk azt biztosítani, hogy a hallgatók a kapott ismeretek alapján a későbbiekben képesek legyenek a tanult módszerek alternatíváit a választáshoz szükséges mértékben megérteni, mind az elmélet, mind a praktikum szempontjából. A tematikát a két- és három-dimenziós képfeldolgozás és a képérzékelő és képfeldolgozó HW megválasztásának kérdései szerint tagoljuk.

8. A tantárgy részletes tematikája

 

1. Előadás: Kép fogalma, pixel, pixeltömb. Kép és videofolyam létrehozása. Fekete fehér, színes képek. 3D képek létrehozása. Képfeldolgozás és számítógépes látás fogalma, Színkorrekció, kontraszt, hisztogram

Gyakorlat: Kép előkészítése, feldolgozása. Képtartalom javítása. Képek alapvető hibái, zaj torzítások. Zajszűrési technikák. Konvolúció. Geometriai mérések: Gradiensek és magasabb deriváltak, momentumok, kaszkád Hough

2. Előadás: Képpárosítás: A megoldandó feladat, robusztus feldolgozási fokozatok. SIFT módszer, elmélet, a Gauss szűrő kitüntetett szerepe, praktikák, paraméterek, fontosabb alternatívák. KLT, Farneback. Harris detektor, szubpixeles pontosság kérdése

3. Előadás: Szegmentálás. Küszöbözés, többcsatornás küszöbözés. Textúra alapú szegmentálás. Egyéb megoldások, K-Means, Meanshift, gráfvágás, watershed

Gyakorlat: Bináris képek kiértékelése. Bool műveletek. Erózió, dilatáció. Nyitás, zárás. Tulajdonságalapú mérések. Méretek, felület, hossz, görbület. Számlálás. Egyenes/szakasz, kör/ellipszis

4. Előadás: Mozgásanalízis. Optical flow, Lucas-Kanade, HMM, Tracking markerekkel, sok kamerával

5. Előadás: Bevezetés a gépi tanulásba, Hibafüggvény, optimalizálás, regularizáció, Lineáris modell, SVM

Gyakorlat: Többrétegű és konvolúciós neurális hálók, backpropagation, háló struktúrák, tanítás a gyakorlatban

6. Előadás: Videó feldolgozása, sorozatok, Sorozatok feldolgozása, visszacsatolt hálók, LSTM, GRU

7. Előadás: Magas szintű vizuális feladatok. Lokalizáció, Detektálás, Szemantikus- és példány szegmentálás. Speciális architektúrák

Gyakorlat: Vizualizáció és hibakeresés, Generatív modellek, Variációs Autoencoder, GAN

8. Előadás: Megerősítéses tanulás a vizuális intelligencia fejlesztésére, DQN, REINFORCE, Actor-critic hálók

9. Előadás: Kép koordinátarendszerének megválasztása, következmények. A projektív képalkotás modellje, kameramodell, kameramátrix, valódi optikák. Hiearchikus feldolgozás sémája, alulmintavételezés kérdései, geometriai transzformációk a képen, ill. a méréseken.

Gyakorlat: Projekciós mátrix és 6 pontos kamerakalibráció, elmélet. 3 sakktáblás kalibráció. A lineáris algebra numerikus módszereinek elérhetősége: Matlab, Eigen, TNT. OpenCV

10. Előadás: Epipoláris geometria, esszenciális mátrix, fundamentális mátrix. 7 és 8 pontos kalibráció. Diszparitás meghatározása.

11. Előadás: A 3D rekostrukció, bizonytalanasága: globális transzformációra nézve, ill. a rekonstrált távolságokra nézve, elfajuló esetek, praktikus problémák. 3D adatok feldolgozása.

Gyakorlat: Valósidejűség a gépi látás során. Az alapvető módszerek használhatósága különféle környezetekben. Kis erőforrást biztosító rendszerek.

12. Előadás: SIMD megoldások. Adatfolyamfeldolgozás. GPU. Elérhető eszközök, tulajdonságaik. Párhuzamos algoritmusok. Előfeldolgozás GPU-n, szűrések, küszöbözés, torzításmentesítés. Frekvenciatartománybeli megoldások

13. Előadás: Hardveralapú megoldások. Programozható hardver. Lehetőségek. Előfeldolgozás, szűrések, küszöbözés, torzításmentesítés. Pipeline megoldások, Super-pipeline, programozható pipeline. Újrakonfigurálható megoldások. TPU

Gyakorlat: Geometriai torzítás kiküszöbölése. Kép feldolgozása frekvenciatartományban, szűrések, Fourier transzformáció, FFT

14. Előadás: Készülés vizsgára, konzultáció 

9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium)

 

A tantárgy előadásokon elhangzó, továbbá a heti rendszerességgel kiadott, az otthoni tanulást támogató elméleti anyagra és a tanultak alkalmazását segítő gyakorlati példákra, valamint az otthon elsajátított anyagrészekről tartott konzultációkra épít.


 

10. Követelmények
    • Szorgalmi időszakban, aláírásért:
      Zárthelyi dolgozat.
      Az aláírás megszerzésének feltétele a pontok 40%-ának teljesítése.
      A zárthelyi dolgozat során szerzett pontok 20% mértékben számítanak be a vizsgajegybe. (Javító vizsga esetén kérhető, hogy a zárthelyi dolgozat során megszerzett pontok ne számítsanak bele a végeredménybe)
    • Vizsgaidőszakban, jegyért:
      írásbeli vizsga
      A kreditpont megszerzésének feltétele legalább elégséges vizsgaosztályzat elérése. (Ehhez a pontok 40%-át kell elérni)
    • Elővizsga:
      A tárgy keretében elővizsgára nincs lehetőség

    Minden egyéb kérdésében a TVSZ rendelkezései irányadók.


11. Pótlási lehetőségek
    • A zárthelyi dolgozatok teljesítésére pót-alkalmat biztosítunk.
    • A vizsgaidőszakban három vizsgaalkalom kerül kiírásra, sikertelen vizsga esetén a vizsga egy másik előre kiírt alkalommal ismételhető.

    Minden egyéb kérdésében a TVSZ rendelkezései irányadók.


12. Konzultációs lehetőségek

Órák előtt és után, valamint külön megkeresés alapján, egyeztetés szerint.

13. Jegyzet, tankönyv, felhasználható irodalom
    • Előadásokon kivetített prezentációk PDF formátumban
    • Rafael C. Gonzalez, Richard E. Wood: Digital Image Processing
    • John C. Russ: The Image Processing Handbook
    • Besl, P.J.: "Surfaces in range image understanding", Springer, 1988
    • Computer Vision online tananyag: http://www.dai.ed.ac.uk/CVonline/
14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka

Kontakt óra

42

Félévközi készülés órákra

10

Felkészülés zárthelyire

12

Házi feladat elkészítése

 

Kijelölt írásos tananyag elsajátítása

28

Vizsgafelkészülés

28

Összesen

120

15. A tantárgy tematikáját kidolgozta
NévBeosztásTanszék, Int.

Dr. Vajta László

egyetemi docens

Irányítástechnika és Informatika Tanszék

Dr. Vajda Ferenc

egyetemi docens

Irányítástechnika és Informatika Tanszék