Információelmélet

A tantárgy angol neve: Information Theory 

Adatlap utolsó módosítása: 2023. január 9.

Budapesti Műszaki és Gazdaságtudományi Egyetem
Villamosmérnöki és Informatikai Kar
Mérnökinformatikus MSc
Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
VISZMA13   3/0/0/f 5  
3. A tantárgyfelelős személy és tanszék Dr. Pintér Márta,
A tantárgy tanszéki weboldala http://www.cs.bme.hu/infelm
4. A tantárgy előadója

Dr. Ottucsák György, mb előadó, Morgan-Stanley 

Dr. Pintér Márta Barbara, egyetemi docens, SZIT
5. A tantárgy az alábbi témakörök ismeretére épít Valószínűségszámítás
6. Előtanulmányi rend
Kötelező:
NEM
(TárgyEredmény( "BMEVISZMA03", "jegy" , _ ) >= 2
VAGY
TárgyEredmény("BMEVISZMA03", "FELVETEL", AktualisFelev()) > 0)

A fenti forma a Neptun sajátja, ezen technikai okokból nem változtattunk.

A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

7. A tantárgy célkitűzése

A tantárgy az információ továbbítása és tárolása során az információ tömörítésének és védelmének gazdaságos és biztonságos kódolási algoritmusaival foglalkozik. Bemutatja az információforrások veszteségmentes adattömörítésének elvi határait és az optimális adattömörítési eljárásokat mind ismert, mind ismeretlen forráseloszlás esetén. Tárgyalja az alapvető veszteséges forráskódolási elveket. Bemutatja a csatornakódolás alapjait, továbbá a többszörös hozzáférésű csatornák fő típusait. A tantárgy követelményeit eredményesen teljesítő hallgatóktól elvárható, hogy: 

 (1) ismerjék a változó szóhosszúságú adattömörítés elvi határait és alapvető kódjait, 

 (2) képesek legyenek gyakorlatban előforduló tömörítési feladatok megoldására úgy, hogy a megoldás mind a tömörítési arány, mind a kódoló, dekódoló számítási bonyolultsága szempontjából megfelelő legyen, 

 (3) ismerjék a veszteséges forráskódolás leggyakrabban használt technikáit, 

 (4) képesek legyenek egy zajos csatornán történő adatátviteli problémában megválasztani a számítási bonyolultság szempontjából megfelelő modulációs és hibajavító technikát.

8. A tantárgy részletes tematikája
    1. Üzenet változó szóhosszúságú kódolása, egyértelmű dekódolhatóság, prefix kód  
    2. Jensen-egyenlőtlenség, McMillan-egyenlőtlenség  
    3. Kraft-egyenlőtlenség, entrópia és tulajdonságai  
    4. Shannon-Fano-kód, Huffman-kód  
    5. Lempel-Ziv algoritmusok, forrásentrópia  
    6. Feltételes entrópia és tulajdonságai, stacionárius forrás változó szóhosszúságú kódolása  
    7. Markov-forrás, kölcsönös információ és tulajdonságai  
    8. Egyenletes kvantáló négyzetes hibája, egyenletes kvantáló entrópiája  
    9. Lloyd--Max-algoritmus, kompanderes kvantálás  
    10. Vektorkvantálás, lineáris szűrés, prediktív kvantálás  
    11. Lineáris becslés, transzformációs kódolás, Bayes-döntés  
    12. Maximum likelihood döntés bináris szimmetrikus csatorna kimenetén, emlékezetnélküli csatorna  
    13. Csatornakapacitás, Fano-egyenlőtlenség  
    14. Csatornakódolási tétel megfordítása, csatornakódolási tétel 













9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium)

Heti 3 óra előadás. Az előadásokon új elmélet kerül bemutatásra, az elméleti ismeretre példákat és alkalmazásokat is mutatunk. Bizonyos részleteket, alkalmazásokat, bizonyításokat a kiadott jegyzetből önállóan kell elsajátítani.

10. Követelmények

A félév során 2 zárthelyit iratunk. A félév teljesítésének feltétele: mindkét zárthelyin legalább 40 %-os teljesítmény. A végső jegy (teljesítés esetén) a  zárthelyik átlagából adódik. 

Értékelés:  

50%-tól elégséges(2), 60%-tól közepes(3), 70%-tól jó(4), 80%-tól jeles(5).
11. Pótlási lehetőségek

A szorgalmi időszak során minden zárthelyi dolgozathoz tartozik egy pótzárthelyi alkalom. Mindegyik alkalmat lehet használni az elmulasztott zárthelyi teljesítésére vagy a már megírt, de sikertelen dolgozat eredményének a javítására (pótlás) vagy a sikeresen megírt dolgozat eredményének javítására is (javítás). Ha valaki egy korábban már megírt dolgozatot ír újra valamelyik pótzárthelyin, akkor az új pontszáma lesz érvényes - akkor is, ha az rosszabb, mint a korábbi. Ha valaki egy pótlási (vagy javítási) alkalmon megjelenik (és a feladatsort átveszi), azt úgy tekintjük, hogy az illető kísérletet tett a dolgozat megírására (és így rá a fenti feltételek vonatkoznak). Ha valaki sikeres zárthelyit próbál javítani, de 40%-nál kevesebbet ér el a javítón, akkor az eredeti zárthelyin elért pontszámából csak a 40% feletti pontokat veszíti el (azaz 40%-ot visz tovább).

12. Konzultációs lehetőségek Online vagy személyesen, a tárgy előadójával előre egyeztetett időpontban.
13. Jegyzet, tankönyv, felhasználható irodalom

Ottucsák György: Információelmélet, elektronikus jegyzet, teams-en megosztva 

Györfi László, Győri Sándor, Vajda István: Információelmélet és kódelmélet, Typotex, 2000

14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
Kontakt óra42
Félévközi készülés órákra18
Felkészülés zárthelyire70
Házi feladat elkészítése0
Kijelölt írásos tananyag elsajátítása20
Vizsgafelkészülés0
Összesen150
15. A tantárgy tematikáját kidolgozta Dr. Pintér Márta Barbara, egyetemi docens, SZIT