Kiterjesztett valóság és gépi látás mobil eszközökön

A tantárgy angol neve: Augmented Reality and Machine Vision on Mobile Devices

Adatlap utolsó módosítása: 2015. augusztus 28.

Budapesti Műszaki és Gazdaságtudományi Egyetem
Villamosmérnöki és Informatikai Kar
Mérnök informatikus szak, mesterképzés
Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
VIIIMA02 2 2/1/0/v 4  
3. A tantárgyfelelős személy és tanszék Dr. Szécsi László,
A tantárgy tanszéki weboldala http://3dmr.iit.bme.hu/edu/kvm
4. A tantárgy előadója
NévBeosztásTanszék, Int.
Dr. Vajda Ferencegyetemi docensIrányítástechnika és Informatika Tanszék
5. A tantárgy az alábbi témakörök ismeretére épít
  • Képfeldolgozás
6. Előtanulmányi rend
Kötelező:
NEM ( TárgyEredmény( "BMEVIIIM369" , "jegy" , _ ) >= 2
VAGY
TárgyEredmény("BMEVIIIM369", "FELVETEL", AktualisFelev()) > 0
VAGY
TárgyEredmény( "BMEVIIIMB10", "jegy" , _ ) >= 2
VAGY
TárgyEredmény("BMEVIIIMB10", "FELVETEL", AktualisFelev()) > 0)

A fenti forma a Neptun sajátja, ezen technikai okokból nem változtattunk.

A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

Ajánlott:
  • Számítógépes grafika
  • Fizika
  • Matematika
7. A tantárgy célkitűzése

A tantárgy célja, hogy bevezesse a hallgatót a mobil kiterjesztettvalóság-rendszerek használatába, eszközkészletébe és lehetőségeibe. A hallgató megismerkedik a csökkentett erőforrásokat igénylő szenzor- és videojel-feldolgozás megoldásaival is. A félév folyamán a hallgató gyakorlati módszereket is elsajátít kiterjesztettvalóság-rendszerek létrehozásához.

8. A tantárgy részletes tematikája

Bevezetés

  • Bevezetés. Fogalmak. Virtuális valóság. Kiterjesztett valóság. Valósidejűség és bemerülés korlátai mobil eszközökön.

A kiterjesztettvalóság-rendszerek eszközkészlete

  • Interakció a virtuális objektumokkal – beviteli eszközök. Mobil eszközökbe épített szenzorok: inerciális szenzorok (gyorsulásmérő, giroszkóp), GPS, iránytűk. Korszerű kiterjesztett- és virtuálisvalóság-érzékelők: mozgás- és szemkövető eszközök, mélységi érzékelők, BCI-interfészek, Izomtónus-érzékelés
  • Interakció a virtuális objektumokkal – két/háromdimenziós megjelenítési megoldások. Szemüveges és autosztereoszkóp megoldások. Mobil projektorok. Audio és haptikus megjelenítés. Intelligens szemüvegek.

Eljárások és módszerek

  • Szenzorfeldolgozási módszerek, szűrési technikák, szenzorfúzió
  • Kameraalapú megoldások csökkentett erőforrású környezetekben.
  • Párhuzamos képfeldolgozási eljárások. Grafikus processzor. Képszűrés. Alapvető eljárások. Eljárások vizsgálata, használhatósága kis erőforrású rendszerekben. Eljárások adaptációja a feladat függvényében.
  • Szekvenciális algoritmusok gyorsítása, választása kevés feldolgozó egységet tartalmazó környezetekhez.
  • Regisztráció. Virtuális és valós elemek illesztése. Pozíciómeghatározás és renderelés kapcsolata. Szegmentálás, háttérleválasztás.
  • Objektumfelismerés, objektumkövetés. Gesztusfelismerés.
  • Szerveralapú információkiértékelési megoldások. Operációs rendszer függetlenség. Fejlesztés Layar környezetben: Felépítés, Layar rétegek, 2D/3D modellfelismerés, Geo-rétegek, animáció, interakció.
  • Manipuláció. Navigáció. Kollaboráció. Többfelhasználós, közösségi megoldások.
  • Viselkedésmodellezés. Egyszerű fizikai és kinematikai modellek. Illeszkedés a valós fizikába.
  • Esettanulmányok kiterjesztettvalóság-környezetben. Alkalmazások.
9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium)

A tantárgy előadások elhangzó elméleti anyag és az azok alkalmazását segítő gyakorlati példák felhasználására épít.

10. Követelmények
  • Szorgalmi időszakban, aláírásért:
    otthon, egyedül elvégzendő házi feladat, beadás a szorgalmi időszak utolsó hetében
  • Vizsgaidőszakban, jegyért:
    írásbeli vizsga
    A kreditpont megszerzésének feltétele legalább elégséges vizsgaosztályzat elérése. (Ehhez a pontok 40%-át kell elérni)
  • Elővizsga:
    igény szerint megoldható

Minden egyéb kérdésében a TVSZ rendelkezései irányadók.

11. Pótlási lehetőségek
  • A házi feladatok beadása a pótlási hét utolsó napján 12:00-ig pótolható.
  • A vizsgaidőszakban három vizsgaalkalom kerül kiírásra, sikertelen vizsga esetén a vizsga egy másik előre kiírt alkalommal ismételhető.

Minden egyéb kérdésében a TVSZ rendelkezései irányadók.

12. Konzultációs lehetőségek

Órák előtt és után, valamint külön megkeresés alapján, egyeztetés szerint.

13. Jegyzet, tankönyv, felhasználható irodalom
  • Grigore C. Burdea, Philippe Coiffet: Virtual Reality Technology, ISBN: 978-0-471-36089-6
  • Oliver Bimber, Ramesh Raskar: Spatial Augmented Reality: Merging Real and Virtual Worlds, ISBN: 978-1568812304
  • Ezeken felül a tárgy honlapján mindig friss, naprakész anyagok, elektronikus jegyzetek lesznek elérhetők a tárgyindulásától kezdve.
14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
Kontakt óra42
Félévközi készülés órákra10
Felkészülés zárthelyire
Házi feladat elkészítése20
Kijelölt írásos tananyag elsajátítása
Vizsgafelkészülés48
Összesen120
15. A tantárgy tematikáját kidolgozta
NévBeosztásTanszék, Int.
Dr. Vajda Ferencegyetemi docensIrányítástechnika és Informatika Tanszék