Dr. Loványi István egyetemi docens

Dr. Vajda Ferenc egyetemi adjunktus

Kertész Zsolt egyetemi tanársegéd

A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

A Gépi látás, 3D látórendszerek és Intelligens szenzorrendszerek diszciplínákhoz kapcsolódva a tantárgy ismerteti azokat a fontosabb algoritmusokat, hardver struktúrákat, tervezési platformokat, melyekkel hatékonyan megoldhatók a valósidejű alkalmazásokba (pl. autonóm navigáció, intelligens járművek, objektumkövetés időben és térben, gyártásautomatizálás, médiaipar) integrált látórendszerek olyan, külön-külön is kritikus problémái, mint a 3D interpretáció, extrém nagy feldolgozási sebesség, felbontás, (ön)kalibráció. A különféle képfelvevő eszközök ma már olyan nagy mennyiségű adatot szolgáltatnak, aminek a tárolását és feldolgozását minél gyorsabban, sok esetben valósidőben kell megoldani.

A tantárgyat sikeresen abszolváló hallgatók közre tudnak működni valósidejű látórendszerek tervezésében, implementálásában és tipikus alkalmazásokba való integrálásában. Meg tudják határozni azokat a releváns képjellemzőket és az azok kiemelésére szolgáló optimális algoritmusokat és technológiákat, melyekre a feladat alapozható. Megismerik a tervezést és implementálást támogató korszerű eszközöket is.

13 tényleges oktatási hét: 26 előadási + 13 tantermi gyakorlati óra. A gyakorlatok az elméleti előadás módszereit alkalmazási példák keretében mutatják be. Az előadások tematikája: 

1. A valósidejű képfeldolgozás alapproblémái, rekonstrukciós feladatok. Projektív, affin és euklédeszi geometriák. Képfeldolgozás egy kamerával és több kamerával. Realisztikus kamera- megvilágítás-felület modellezés és kalibráció. Mozgó kamera önkalibrálása.
2. Aktív alakmodellek, spline-templétek illesztése. Valószínűségi modellezés, autoregresszív alaktér-modellek. Dinamikus kontúrkövetés Kalman-technikával.  
3. 3D képfeldolgozás elméleti alapjai. Shape from X algoritmusok és valósidejű implementációk a felhasznált képjellemzők kiemelésére. Párhuzamos képfeldolgozás, DFT, FFT.
4. Mozgásdetektálás 3D-ben. Objektumok, markerek követése térben és időben, lokális – globális képjellemzők (szín, él, kontúr, textúra, topológia , stb. ) alapján. SSD algoritmus, optikai áramlás.
5. Látórendszerek tervezési metrikái (sebesség, biztonság, felbontás, flexibilitás, modularitás, robusztusság, adatbiztonság, stb.) kritikus alkalmazásokban. Látórendszerek hibaanalízise.
6. Beágyazott képfeldolgozás. DSP/FPGA alternatívák. GPU alapú képfeldolgozás. Video-rate célhardverek. Smart kamerák. Gyorsítás szenzorfúzióval, analóg-, optikai képfeldolgozással. Emberi látás által inspirált architektúrák. CNN chip.
7. Hálózati képfeldolgozás. Vezetékes/vezetéknélküli kép- és videokommunikációs csatornák. Hatékony tartalomfüggő képtömörítés, képindexálás. Tartalomazonosítási szteganográfiai módszerek.
8. Esettanulmányok: Robotvezérlés vizuális visszacsatolással. Look-and- move vs. visual servoing technikák. Járművek autonóm navigációja, adaptív „cruise control” szenzorfúzióval. Emberi mozgás (egészalakos, gesztikuláció, mimika) követése. 2D/3D diagnosztikai képek szegmentálása, regisztrációja és vizualizációja valósidőben.

Az eredménytelen zárthelyi pótlására az utolsó oktatási héten és a pótlási héten adunk lehetőséget.

Dr. Loványi István egyetemi docens

Dr. Vajda Ferenc egyetemi adjunktus

Kertész Zsolt egyetemi tanársegéd