Információelmélet

A tantárgy angol neve: Information Theory

Adatlap utolsó módosítása: 2018. július 8.

Budapesti Műszaki és Gazdaságtudományi Egyetem
Villamosmérnöki és Informatikai Kar

Mérnökinformatikus szak, MSc képzés

Elágazó közös tárgy

Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
VISZMA03 1,2 3/0/0/f 4  
3. A tantárgyfelelős személy és tanszék Dr. Pintér Márta,
A tantárgy tanszéki weboldala cs.bme.hu/infelm
4. A tantárgy előadója

Név:

Beosztás:

Tanszék, Int.:

Dr. Pintér Márta

egyetemi docens

Számítástudományi és Információelméleti Tanszék

Dr. Ottucsák György

Megbízott előadó

Morgan-Stanley

5. A tantárgy az alábbi témakörök ismeretére épít

Valószínűségszámítás

6. Előtanulmányi rend
Kötelező:
NEM ( TárgyEredmény( "BMEVISZM101" , "jegy" , _ ) >= 2
VAGY
TárgyEredmény("BMEVISZM101", "FELVETEL", AktualisFelev()) > 0
VAGY
TárgyEredmény( "BMEVISZMA13", "jegy" , _ ) >= 2
VAGY
TárgyEredmény("BMEVISZMA13", "FELVETEL", AktualisFelev()) > 0)

A fenti forma a Neptun sajátja, ezen technikai okokból nem változtattunk.

A kötelező előtanulmányi rend az adott szak honlapján és képzési programjában található.

Ajánlott:

Ajánlott:
Valószínűségszámítás

7. A tantárgy célkitűzése

A tantárgy az információ továbbítása és tárolása során az információ tömörítésének és védelmének gazdaságos és biztonságos kódolási algoritmusaival foglalkozik. Bemutatja az információforrások veszteségmentes adattömörítésének elvi határait és az optimális adattömörítési eljárásokat mind ismert, mind ismeretlen forráseloszlás esetén. Tárgyalja az alapvető veszteséges forráskódolási elveket. Bemutatja a csatornakódolás alapjait, továbbá a többszörös hozzáférésű csatornák fő típusait. Megalapozza a Karon folyó doktori kutatásokat mobil távközlés témában. A tárgy a Kódolástechnika tárgyra épít.

 

A tantárgy követelményeit eredményesen teljesítő hallgatóktól elvárható, hogy:

 

(1) ismerjék a változó szóhosszúságú adattömörítés elvi határait és alapvető kódjait,

 

(2) képesek legyenek gyakorlatban előforduló tömörítési feladatok megoldására úgy, hogy a megoldás mind a tömörítési arány, mind a kódoló, dekódoló számítási bonyolultsága szempontjából megfelelő legyen,

 

(3) ismerjék a veszteséges forráskódolás leggyakrabban használt technikáit,

 

(4) képesek legyenek egy zajos csatornán történő adatátviteli problémában megválasztani a számítási bonyolultság szempontjából megfelelő modulációs és hibajavító technikát,

 

(5) ismerjék a mobil távközlésben használt többszörös hozzáférési kódosztásos technikákat.

8. A tantárgy részletes tematikája
  1. Üzenet változó szóhosszúságú kódolása

Egyértelmű dekódolhatóság, prefix kód

  1. Jensen-egyenlőtlenség

McMillan-egyenlőtlenség

  1. Kraft-egyenlőtlenség

Entrópia és tulajdonságai

  1. Shannon-Fano-kód

Huffman-kód

  1. Lempel-Ziv algoritmusok

Forrásentrópia

  1. Feltételes entrópia és tulajdonságai

Stacionárius forrás változó szóhosszúságú kódolása

  1. Markov-forrás

Kölcsönös információ és tulajdonságai

  1. Egyenletes kvantáló négyzetes hibája

Egyenletes kvantáló entrópiája

  1. Lloyd--Max-algoritmus

Kompanderes kvantálás

  1. Vektorkvantálás

Lineáris szűrés

Prediktív kvantálás

  1. Lineáris becslés

Transzformációs kódolás

Bayes-döntés

  1. Maximum likelihood döntés bináris szimmetrikus csatorna kimenetén

Emlékezetnélküli csatorna

  1. Csatornakapacitás

Fano-egyenlőtlenség

  1. Csatornakódolási tétel megfordítása

Csatornakódolási tétel

9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium)

Heti 3 óra előadás.

10. Követelmények

A félév során 2 zárthelyit iratunk. A félév teljesítésének feltétele: mindkét zárthelyin legalább 40 %-os teljesítmény. A végső jegy (teljesítés esetén) a  zárthelyik átlagából adódik.

A vizsgaidőszakban: --

Elővizsga:

11. Pótlási lehetőségek

A szorgalmi időszak során minden zárthelyi dolgozathoz lesz pótlási (javítási) lehetőség.

A pótlási héten egyetlen alkalom lesz amikor egy tetszőleges zh dolgozat pótolható.

12. Konzultációs lehetőségek

Az előadóval történt egyeztetés alapján.

13. Jegyzet, tankönyv, felhasználható irodalom

Györfi László, Győri Sándor, Vajda István: Információelmélet és kódelmélet, Typotex, 2000

14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
Kontakt óra42
Félévközi készülés órákra 
Felkészülés zárthelyire78
Házi feladat elkészítése 
Kijelölt írásos tananyag elsajátítása 
Vizsgafelkészülés 
Összesen120
15. A tantárgy tematikáját kidolgozta

Név:

Beosztás:

Tanszék, Int.:

Dr. Pintér Márta

egyetemi docens

Számítástudományi és Információelméleti Tanszék