BME VIK - Háromdimenziós rekonstrukció videófelvételekből

3. A tantárgyfelelős személy és tanszék Hajder Levente,

4. A tantárgy előadója

Név:	Beosztás:	Tanszék, Int.:
dr. Hajder Levente	tud. munkatárs	MTA SZTAKI

7. A tantárgy célkitűzése

A háromdimenziós objektum rekonstrukció a számítógépes látás egyik alapproblémája. Kutatása a 80-as években lendült fel, mostanában már az ipari alkalmazások is megjelentek.

A tantárgy célja a hallgatókkal megismertetni a modellrekonstrukció és az animációs trükkök alapproblémáit és annak megoldásait. Az órák keretében a szükséges matematikai alapokat is átadjuk.

A kurzus teljesítő hallgatók képesek lesznek arra, hogy tudásukat az iparban hasznosítsák (ipari minőségbiztosítás, reklám- és filmstúdiók, játékipar): tudják kezelni a meglévő szoftvereket, illetve új modulokkal tudják azokat bővíteni.

A házi feladatok segítik a hallgatókat, hogy egy-egy választott módszer implementálásával maguk is meggyőződhessenek a módszerek használhatóságáról, és tisztában legyenek a hátrányokkal, problémákkal is.

8. A tantárgy részletes tematikája Bevezetés, áttekintés.Optimalizálási alapok.Lagrange-multiplikátoros optimalizálás. Lineáris egyenletrendszerek legkisebb négyzetes megoldása korlátozás nélkül és korlátozással, szinguláris érték felbontás (SVD), főkomponens analízis.Nemlineáris optimalizálás: Gradiens módszer, konjugált gradiens módszer, Gauss-Newton módszer, Levenberg-Marquardt módszerOptikai alapismeretek.Optikai alapok: az optika tárgya, felosztása.Geometriai optika: fénysugár, Fermat-elv, visszaverődés és törés. Visszaverődésen és törésen alapuló optikai elemek. Ideális leképzés. Valódi leképzés, aberrációk.Fizikai optika: hullám leírása, fényelhajlás jelensége.Geometriai alapok.Térbeli geometria, homogén koordináták, vetítések (perspektív, gyengén perspektív paraperspektív, merőleg), epipoláris geometria, kvaterniók.Háromdimenziós illesztési módszerek.Háromdimenziós megjelenítő nyelvek (X3D, POVRay).Jellegzetes pontok előállítása és követése.Sarokdetektálás: KLT algoritmus. Jellegzetes pontok követése: különbség és korreláció alapú módszerek,Affin és perspektív torzítások figyelembe vétele.Jellegzetes vonalak illesztése: alapvető vonalkeresési algoritmusok, megfeleltetés textúrainformáció alapján.Fotogrammetrikus kamerakalibrálásBelső és külső paraméterek definíciója. Kalibráció referencia-objektum alapján.Háromdimenziós pontok és kameramozgás számítása.Mélységszámítás merőleges vetítés, gyenge perspektíva, valódi perspektíva esetén. Kamerakalibráció. Fundamentális mátrix (sztereó látás), trifokális tenzor bevezetése.Megfeleltetett pontok és egyenesek felhasználása az illesztési feladatra.Kalibrált kamera esetén az ún. visual hull algoritmus alkalmazása.Szegmentálás, pontok szűrése.Fundamentális mátrix alapú módszerek, K-means, LMedS, LTS, RANSAC-algoritmusok. Altér alapú szegmentálás, régió terjesztéses algoritmus.Szegmentálás trifokális tenzor alapján.Sűrű illesztés.Rektifikálás (képek kiegyenesítése torzítás segítségével): lineáris, nemlineáris rektifikáció. A keresési tér leszűkítése.A felületi normálvektor és a torzítás kapcsolata. Sűrű illesztés régiónöveléses technikával.Pontok háromszögelése.Síkbeli pontok Delunay-féle háromszögelése, térbeli háromszögelés.Pontok háromszögelése “marching cube” algoritmus alapján.Fotorealisztikus rekonstrukció. Textúrázás, árnyékolások figyelembe vétele.Több fényforrás segítségével felületi érdesség megállapítása.Háromdimenziós animációs trükkök. A renderelő szoftverek kameramodellje.Valós felvétel és mozgó virtuális objektumok keverése a kameraparaméterek becslése alapján.Képek homográfián alapuló torzítása. Kép alapú renderelés (image based rendering).

9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium) Előadás

10. Követelmények

a. A szorgalmi időszakban: Házi feladat

b. A vizsgaidőszakban: Írásbeli vizsga

c. Elővizsga: Van

11. Pótlási lehetőségek

A házi feladatot a szorgalmi időszak végéig be kell adni. Ezt később pótolni nem lehet.

13. Jegyzet, tankönyv, felhasználható irodalom

1. Richard Hartley, Andrew Zisserman. Multiple View Geometry 2nd edition, Cambridge University Press, 2004. ISBN: 05215405182

2. Yi Ma, Stefano Saotto, Jana Kosecka, S. Shankar Sastry. An Invitation to 3-D Vision. Springer-Verlag, New York, November 2003

3. Marc Pollefeys. Visual 3D Modelling from Images (tutorial) http://www.cs.unc.edu/~marc/tutorial/

4. Magyar nyelvű óravázlat és házi feladat példák a http://vision.sztaki.hu/~hajder/rekonstrukcio/ linken találhatóak.

14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka

Kontakt óra	60
Félévközi készülés órákra	20
Felkészülés zárthelyire	0
Házi feladat elkészítése	30
Kijelölt írásos tananyag elsajátítása	0
Vizsgafelkészülés	40
Összesen	150

15. A tantárgy tematikáját kidolgozta

Név:	Beosztás:	Tanszék, Int.:
dr. Hajder Levente	tud. munkatárs	MTA SZTAKI