Valósidejű képfeldolgozás

A tantárgy angol neve: Real-Time Image Processing

Adatlap utolsó módosítása: 2009. október 30.

Budapesti Műszaki és Gazdaságtudományi Egyetem
Villamosmérnöki és Informatikai Kar

Mérnök informatikus szak, MSc képzés   

Autonóm irányító rendszerek és robotok szakirány   

Villamosmérnöki szak, MSc képzés   

Irányító és robot rendszerek szakirány   

 

Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
VIIIM128 1 2/1/0/v 4  
3. A tantárgyfelelős személy és tanszék Dr. Loványi István György,
4. A tantárgy előadója

Dr. Loványi István egyetemi docens

Dr. Vajda Ferenc egyetemi adjunktus

Kertész Zsolt egyetemi tanársegéd

5. A tantárgy az alábbi témakörök ismeretére épít Matematika, Szabályozástechnika
6. Előtanulmányi rend
Kötelező:
NEM ( TárgyEredmény( "BMEVIIIMA07" , "jegy" , _ ) >= 2
VAGY
TárgyEredmény("BMEVIIIMA07", "FELVETEL", AktualisFelev()) > 0 )

A fenti forma a Neptun sajátja, ezen technikai okokból nem változtattunk.

A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

7. A tantárgy célkitűzése

A Gépi látás, 3D látórendszerek és Intelligens szenzorrendszerek diszciplínákhoz kapcsolódva a tantárgy ismerteti azokat a fontosabb algoritmusokat, hardver struktúrákat, tervezési platformokat, melyekkel hatékonyan megoldhatók a valósidejű alkalmazásokba (pl. autonóm navigáció, intelligens járművek, objektumkövetés időben és térben, gyártásautomatizálás, médiaipar) integrált látórendszerek olyan, külön-külön is kritikus problémái, mint a 3D interpretáció, extrém nagy feldolgozási sebesség, felbontás, (ön)kalibráció. A különféle képfelvevő eszközök ma már olyan nagy mennyiségű adatot szolgáltatnak, aminek a tárolását és feldolgozását minél gyorsabban, sok esetben valósidőben kell megoldani.

A tantárgyat sikeresen abszolváló hallgatók közre tudnak működni valósidejű látórendszerek tervezésében, implementálásában és tipikus alkalmazásokba való integrálásában. Meg tudják határozni azokat a releváns képjellemzőket és az azok kiemelésére szolgáló optimális algoritmusokat és technológiákat, melyekre a feladat alapozható. Megismerik a tervezést és implementálást támogató korszerű eszközöket is.

8. A tantárgy részletes tematikája

13 tényleges oktatási hét: 26 előadási + 13 tantermi gyakorlati óra. A gyakorlatok az elméleti előadás módszereit alkalmazási példák keretében mutatják be. Az előadások tematikája: 

  1. A valósidejű képfeldolgozás alapproblémái, rekonstrukciós feladatok. Projektív, affin és euklédeszi geometriák. Képfeldolgozás egy kamerával és több kamerával. Realisztikus kamera- megvilágítás-felület modellezés és kalibráció. Mozgó kamera önkalibrálása.
  2. Aktív alakmodellek, spline-templétek illesztése. Valószínűségi modellezés, autoregresszív alaktér-modellek. Dinamikus kontúrkövetés Kalman-technikával.  
  3. 3D képfeldolgozás elméleti alapjai. Shape from X algoritmusok és valósidejű implementációk a felhasznált képjellemzők kiemelésére. Párhuzamos képfeldolgozás, DFT, FFT.
  4. Mozgásdetektálás 3D-ben. Objektumok, markerek követése térben és időben, lokális – globális képjellemzők (szín, él, kontúr, textúra, topológia , stb. ) alapján. SSD algoritmus, optikai áramlás.
  5. Látórendszerek tervezési metrikái (sebesség, biztonság, felbontás, flexibilitás, modularitás, robusztusság, adatbiztonság, stb.) kritikus alkalmazásokban. Látórendszerek hibaanalízise.
  6. Beágyazott képfeldolgozás. DSP/FPGA alternatívák. GPU alapú képfeldolgozás. Video-rate célhardverek. Smart kamerák. Gyorsítás szenzorfúzióval, analóg-, optikai képfeldolgozással. Emberi látás által inspirált architektúrák. CNN chip.
  7. Hálózati képfeldolgozás. Vezetékes/vezetéknélküli kép- és videokommunikációs csatornák. Hatékony tartalomfüggő képtömörítés, képindexálás. Tartalomazonosítási szteganográfiai módszerek.
  8. Esettanulmányok: Robotvezérlés vizuális visszacsatolással. Look-and- move vs. visual servoing technikák. Járművek autonóm navigációja, adaptív „cruise control” szenzorfúzióval. Emberi mozgás (egészalakos, gesztikuláció, mimika) követése. 2D/3D diagnosztikai képek szegmentálása, regisztrációja és vizualizációja valósidőben.
A gyakorlati órákon a hallgatók valós problémákon próbálják ki az előadáson megismert eljárásokat MATLAB és c++ környezetben.

 

9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium) A tárgy előadásból és az előadás anyagát illusztráló gyakorlatokból áll.
10. Követelmények 1 zárthelyi a szorgalmi időszakban. Az aláírás feltétele legalább elégséges osztályzat. Az eredmény 20% arányban beszámít a vizsgajegybe.
11. Pótlási lehetőségek

Az eredménytelen zárthelyi pótlására az utolsó oktatási héten és a pótlási héten adunk lehetőséget.

12. Konzultációs lehetőségek Zárthelyi pótolható a vizsga előtti héten.
13. Jegyzet, tankönyv, felhasználható irodalom A tanszéki weboldal oktatási portálján levő előadásdiák rövid magyarázatokkal, valamint magyar és angol nyelvű irodalom(forrás az aktuális diákon megadva).
14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
Kontakt óra42
Félévközi készülés órákra15
Felkészülés zárthelyire15
Házi feladat elkészítése0
Kijelölt írásos tananyag elsajátítása
Vizsgafelkészülés48
Összesen120
15. A tantárgy tematikáját kidolgozta

Dr. Loványi István egyetemi docens

Dr. Vajda Ferenc egyetemi adjunktus

Kertész Zsolt egyetemi tanársegéd