Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

Képfeldolgozás alapjai

A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

A tantárgy célja a hallgatókat megismertetni a képfeldolgozás létező technikáival, mind a rutinszerűen megoldható egyszerűbb, mind a bonyolultabb módszerekkel, egyensúlyban tartva az elméleti és gyakorlati kérdéseket. Se a lefedett problémakör, se az azokat kezelő, felsorolt megoldások nem teljesek. Célunk azt biztosítani, hogy a hallgatók a kapott ismeretek alapján a későbbiekben képesek legyenek a tanult módszerek alternatíváit a választáshoz szükséges mértékben megérteni, mind az elmélet, mind a praktikum szempontjából. A tematikát a két- és három-dimenziós képfeldolgozás és a képérzékelő és képfeldolgozó HW megválasztásának kérdései szerint tagoljuk.

 

1. Előadás: Kép fogalma, pixel, pixeltömb. Kép és videofolyam létrehozása. Fekete fehér, színes képek. 3D képek létrehozása. Képfeldolgozás és számítógépes látás fogalma, Színkorrekció, kontraszt, hisztogram

Gyakorlat: Kép előkészítése, feldolgozása. Képtartalom javítása. Képek alapvető hibái, zaj torzítások. Zajszűrési technikák. Konvolúció. Geometriai mérések: Gradiensek és magasabb deriváltak, momentumok, kaszkád Hough

2. Előadás: Képpárosítás: A megoldandó feladat, robusztus feldolgozási fokozatok. SIFT módszer, elmélet, a Gauss szűrő kitüntetett szerepe, praktikák, paraméterek, fontosabb alternatívák. KLT, Farneback. Harris detektor, szubpixeles pontosság kérdése

3. Előadás: Szegmentálás. Küszöbözés, többcsatornás küszöbözés. Textúra alapú szegmentálás. Egyéb megoldások, K-Means, Meanshift, gráfvágás, watershed

Gyakorlat: Bináris képek kiértékelése. Bool műveletek. Erózió, dilatáció. Nyitás, zárás. Tulajdonságalapú mérések. Méretek, felület, hossz, görbület. Számlálás. Egyenes/szakasz, kör/ellipszis

4. Előadás: Mozgásanalízis. Optical flow, Lucas-Kanade, HMM, Tracking markerekkel, sok kamerával

5. Előadás: Bevezetés a gépi tanulásba, Hibafüggvény, optimalizálás, regularizáció, Lineáris modell, SVM

Gyakorlat: Többrétegű és konvolúciós neurális hálók, backpropagation, háló struktúrák, tanítás a gyakorlatban

6. Előadás: Videó feldolgozása, sorozatok, Sorozatok feldolgozása, visszacsatolt hálók, LSTM, GRU

7. Előadás: Magas szintű vizuális feladatok. Lokalizáció, Detektálás, Szemantikus- és példány szegmentálás. Speciális architektúrák

Gyakorlat: Vizualizáció és hibakeresés, Generatív modellek, Variációs Autoencoder, GAN

8. Előadás: Megerősítéses tanulás a vizuális intelligencia fejlesztésére, DQN, REINFORCE, Actor-critic hálók

9. Előadás: Kép koordinátarendszerének megválasztása, következmények. A projektív képalkotás modellje, kameramodell, kameramátrix, valódi optikák. Hiearchikus feldolgozás sémája, alulmintavételezés kérdései, geometriai transzformációk a képen, ill. a méréseken.

Gyakorlat: Projekciós mátrix és 6 pontos kamerakalibráció, elmélet. 3 sakktáblás kalibráció. A lineáris algebra numerikus módszereinek elérhetősége: Matlab, Eigen, TNT. OpenCV

10. Előadás: Epipoláris geometria, esszenciális mátrix, fundamentális mátrix. 7 és 8 pontos kalibráció. Diszparitás meghatározása.

11. Előadás: A 3D rekostrukció, bizonytalanasága: globális transzformációra nézve, ill. a rekonstrált távolságokra nézve, elfajuló esetek, praktikus problémák. 3D adatok feldolgozása.

Gyakorlat: Valósidejűség a gépi látás során. Az alapvető módszerek használhatósága különféle környezetekben. Kis erőforrást biztosító rendszerek.

12. Előadás: SIMD megoldások. Adatfolyamfeldolgozás. GPU. Elérhető eszközök, tulajdonságaik. Párhuzamos algoritmusok. Előfeldolgozás GPU-n, szűrések, küszöbözés, torzításmentesítés. Frekvenciatartománybeli megoldások

13. Előadás: Hardveralapú megoldások. Programozható hardver. Lehetőségek. Előfeldolgozás, szűrések, küszöbözés, torzításmentesítés. Pipeline megoldások, Super-pipeline, programozható pipeline. Újrakonfigurálható megoldások. TPU

Gyakorlat: Geometriai torzítás kiküszöbölése. Kép feldolgozása frekvenciatartományban, szűrések, Fourier transzformáció, FFT

14. Előadás: Készülés vizsgára, konzultáció 

A tantárgy előadásokon elhangzó, továbbá a heti rendszerességgel kiadott, az otthoni tanulást támogató elméleti anyagra és a tanultak alkalmazását segítő gyakorlati példákra, valamint az otthon elsajátított anyagrészekről tartott konzultációkra épít.

• • Szorgalmi időszakban, aláírásért:
    Zárthelyi dolgozat.
    Az aláírás megszerzésének feltétele a pontok 40%-ának teljesítése.
    A zárthelyi dolgozat során szerzett pontok 20% mértékben számítanak be a vizsgajegybe. (Javító vizsga esetén kérhető, hogy a zárthelyi dolgozat során megszerzett pontok ne számítsanak bele a végeredménybe)
  • Vizsgaidőszakban, jegyért:
    írásbeli vizsga
    A kreditpont megszerzésének feltétele legalább elégséges vizsgaosztályzat elérése. (Ehhez a pontok 40%-át kell elérni)
  • Elővizsga:
    A tárgy keretében elővizsgára nincs lehetőség

  Minden egyéb kérdésében a TVSZ rendelkezései irányadók.

  
  

• • A zárthelyi dolgozatok teljesítésére pót-alkalmat biztosítunk.
  • A vizsgaidőszakban három vizsgaalkalom kerül kiírásra, sikertelen vizsga esetén a vizsga egy másik előre kiírt alkalommal ismételhető.

  Minden egyéb kérdésében a TVSZ rendelkezései irányadók.

  
  

Órák előtt és után, valamint külön megkeresés alapján, egyeztetés szerint.

• • Előadásokon kivetített prezentációk PDF formátumban
  • Rafael C. Gonzalez, Richard E. Wood: Digital Image Processing
  • John C. Russ: The Image Processing Handbook
  • Besl, P.J.: "Surfaces in range image understanding", Springer, 1988
  • Computer Vision online tananyag: http://www.dai.ed.ac.uk/CVonline/