Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

    Belépés
    címtáras azonosítással

    vissza a tantárgylistához   nyomtatható verzió    

    Médiainformatikai rendszerek

    A tantárgy angol neve: Media Informatics Systems

    Adatlap utolsó módosítása: 2018. július 6.

    Budapesti Műszaki és Gazdaságtudományi Egyetem
    Villamosmérnöki és Informatikai Kar

    Villamosmérnöki szak, MSc képzés
    Multimédia rendszerek és szolgáltatások főspecializáció 

    Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
    VITMMA08 2 2/1/0/v 4  
    3. A tantárgyfelelős személy és tanszék Dr. Mihajlik Péter, Távközlési és Médiainformatikai Tanszék
    4. A tantárgy előadója

     Név:

     Beosztás:

     Tanszék, Int.:

     Dr. Magyar Gábor PhD

     egyetemi docens

     BME-TMIT

     Dr. Mihajlik Péter PhD

     egyetemi adjunktus

     BME-TMIT

     Dr. Szűcs Gábor PhD

     egyetemi docens

     BME-TMIT

    5. A tantárgy az alábbi témakörök ismeretére épít

    A multimédia technológiák alapjai.  

    7. A tantárgy célkitűzése

    A tárgy célkitűzései közé tartozik a digitális multimédia tartalomkezelés és -elemzés legfontosabb fogalmainak ismertetése, megoldásainak és technikáinak oktatása. A hallgatók megismerik a multimédia állományok jellemzésének, felismerésének, kategorizálásának, keresésének és információ-kivonatolásának elveit és szabványos előírásait. A kurzust elvégző hallgatók a félév végére képessé válnak az médiainformatikai rendszerek mérnöki feladatainak megértésére, elvégzésére, és a kapcsolódó feladatkörök ellátására, elsajátítva az ehhez szükséges technológiákat és eszközöket.

    8. A tantárgy részletes tematikája

     

     

    1.     hét

     

    Alapfogalmak. Médiatartalom kezelésének folyamata.  Feladatkörök és alrendszerek. A multimédia (hang, kép, videó) állományok kezelésének fő területei.

     

    2.     hét

     

    Audio adatok feldolgozása. Időben (lényegileg) nem változó hangrészletek detekciójának alapjai. Short Time Fourier Spectrum, ablakozás, spektrogram. Szignálkeresés.

     

    3.     hét

     

    Zeneszámok felismerése. A valós idejű mintaillesztés kihívásai, additív zaj, lineáris és nemlineáris torzítás hatásai, interferencia-jellegű zavarás és ezek kezelésének lehetőségei. Akusztikai ujjlenyomat (Acoustic Fingerprint) fogalma és módszerei. Esettanulmány: Shazam.

     

    4.     hét

     

    Variábilis hang- és képjelek felismerése: általános osztályozási feladatok statisztikai alapon, likelihood, sűrűségfüggvény, tanítás-tesztelés. Bayes-formula.

     

     

    5.     hét

     

    Multimédia osztályozási feladatok többváltozós Gaussian Mixture Model (GMM) alapokon.

     

    6.     hét

     

    Maximum Likelihood vs. Discriminative Training - elméleti és gyakorlati megfontolások hang- és képi adatokon. Multi Layer Perceptron hálózatok alkalmazása médiainformatikai problémákra.

     

    7.     hét

     

    Időben változó multimédia jelek kezelése: dinamikus idővetemítés (Dynamic Time Warping), rejtett Markov-modellek (Hidden Markov Models) és változataik. A beszédfelismerés alapjai.

     

    8.     hét

     

    Korszerű beszédfelismerési technológiák, akusztikai, kiejtési és nyelv-modellek. Feliratozási módszerek és szabványok. Esettanulmány: MTVA és BBC feliratozás.

     

     

    9.     hét

     

    Mély tanulás: előrecsatolt, konvolúciós és rekurrens mély neuronhálók alkalmazása média adatok (szöveg, hang, kép, videó) automatikus annotálására.

     

     

    10.    hét

     

    Multimédia technológiákon alapuló komplex feladatok: Alakzat felismerés képeken, objektum követés videókon. Arcdetektálási és arcfelismerési megoldások. Videó feldolgozási módszerek a gyakorlatban: Videó alapú gesztusfelismerés kéz általi gesztusok felismerésére.

     

    11.    hét

     

    Metaadatok: szemantikus metaadatok. multimédia metaadat szabványok. EBU/SMPTE metaadatok, Dublin Core, Material Exchange Format (MXF).

     

    12.   hét

     

    Multimédiás adatbázisok. Multimédia visszakeresés. Keresési módok, típusok, algoritmusok. A visszakereső rendszer jóságának mérése.

     

    13.   hét

     

    Digital Media Management Systems (DMMS) / Multimedia Asset Management rendszerek felépítése: gyűjtő, tároló, megjelenítő alrendszer. Életciklus tulajdonságok, integrációs eszközök. Tartalomkezelő rendszerek architektúrája, típusai: DAM, DM, KM, Web CMS, ECM. A rendszerek átfogó modellje

     

    14.    hét

     

    Digitális archiválás: feladata, lehetőségei, technikái. Archiválási stratégiák. On-line, near-line, off-line, off-site hozzáférhetőség. A folytonossági szintek. Rekordmenedzsment.

     

     

    Gyakorlatok az alábbi témakörökből (nem kizárólagosan és nem teljes körűen) kerülnek megtartásra: audio lényegkiemelés, audio fingerprint, GMM, beszédfelismerés, nyelvmodellezés, alkalmazott mély neuronhálók Kerasban, annotálási feladat képeken,  multimédia visszakeresés, vizualizációs eszközök, videó feldolgozás.

     


     

    9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium)

    Heti 2 óra előadás, 1 óra gyakorlat

    10. Követelmények
    A szorgalmi időszakban: 1 db zárthelyi
    A vizsgaidőszakban: A vizsga módja: írásbeli
    Az aláírás feltétele a zárthelyi (beleértve a pótló zárthelyiket is: lásd a következő pontban) legalább elégséges szintre történő megírása.

    11. Pótlási lehetőségek

    A zárthelyi pótlására a szorgalmi időszakban egy lehetőséget biztosítunk. Azok számára, akiknek nem sikerült sem a zárthelyi, sem a pótzárthelyi: a pótlási időszakban 1 alkalmat biztosítunk egy újabb zárthelyi dolgozatra. Az aláírás feltétele valamelyik zárthelyi (első vagy a pót- vagy a pótpót-zárthelyi) legalább elégséges szintre történő megírása.

    12. Konzultációs lehetőségek

    A tárgy előadójával személyesen, vagy e-mailben egyeztetett időpontban.

    13. Jegyzet, tankönyv, felhasználható irodalom
    David Austerberry: Digital Asset Management, FocalPress, 2006.
    Serkan Kiranyaz, Moncef Gabbouj: Content-Based Management of Multimedia Databases: Advanced Techniques for Multimedia Analysis and Retrieval, LAP LAMBERT Academic Publishing, 2012.
    Altrichter Márta, Horváth Gábor, Pataki Béla, Strausz György, Takács Gábor, Valyon József: Neurális hálózatok, Hungarian Edition Panem Könyvkiadó Kft., Budapest, 2006  
    Michael Nielsen: Neural Networks and Deep Learning, 2016. Online: http://neuralnetworksanddeeplearning.com/
    Rabiner, L., Juang, B-H., Fundamentals of Speech Recognition. Prentice Hall, New Jersey, 1993

    14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
    Kontakt óra42
    Félévközi készülés órákra 18
    Felkészülés zárthelyire25
    Házi feladat elkészítése0
    Kijelölt írásos tananyag elsajátítása0
    Vizsgafelkészülés35
    Összesen120
    15. A tantárgy tematikáját kidolgozta

     Név:

     Beosztás:

     Tanszék, Int.:

     Dr. Magyar Gábor PhD

     egyetemi docens

     BME-TMIT

     Dr. Szűcs Gábor PhD

     egyetemi docens

     BME-TMIT

     Dr. Mihajlik Péter PhD

     egyetemi adjunktus

     BME-TMIT

     Dr. Gyires-Tóth Bálint PhD

     egyetemi adjunktus

     BME-TMIT