Sztochasztikus folyamatok, Valószínűségszámítás

A tárgy célja, hogy megismertesse a hallgatókkal a "neurális" számítási paradigmát, a mesterséges neurális hálózatok elméleti alapjait, felépítését, bemutassa a tanulás szerepét és áttekintse a legfontosabb tanulási algoritmusokat. A tárgy részletesen foglalkozik a neurális hálózatok alkalmazási lehetőségeivel, és összefoglalja ezen hálózatok hatékony megvalósítási (hardver és szoftver) lehetőségeit.

Algoritmikusan nehezen megoldható feladatok. A tanulás szerepe a feladat-megoldásokban. Gépi tanulás. Ellenőrzött (felügyelt) tanulás. Hibakorrekciós eljárások (gradiens módszerek, kereső eljárások, genetikus algoritmusok).

Nemellenőrzött (felügyelet nélküli) tanulás. Hebb szabály, Oja szabály. Versengő tanulás.

Tanuláson alapuló elosztott párhuzamos számító rendszerek, neurális hálózatok:

Az elemi neuron és felügyelt tanítási algoritmusa. Egy- és többrétegű előrecsatolt hálózat, az előre csatolt hálózatok tanítása: backpropagation algoritmus.

Lokális és globális visszacsatolást tartalmazó hálózatok. Dinamikus neurális rendszerek és tanításuk: Dinamikus backpropagation,

A statisztikus tanuláselmélet alapjai, szupport vektor gépek (SVM, LSSVM). Kernel módszerek

Nemellenőrzött tanulási hálózatok. Kohonen hálók. Lineáris és nemlineáris adattömörítő hálók: PCA, ICA.

Analitikus tanulási hálózatok. Hopfield hálózatok. Boltzmann gép. Mean field elmélet.

Neurális hálózatok alkalmazása (felismerési problémák megoldása, optimalizálási feladatok megoldása, egy- és többdimenziós jelfeldolgozás, nemlineáris jelfeldolgozás, nemlineáris dinamikus rendszerek identifikációja, előrejelzés stb.). A neurális hálózatok gyakorlati alkalmazásainál felmerülő problémák és azok megoldási lehetőségei.

Hardver és szoftver implementálási kérdések

A mesterséges neurális hálózatoknál tárgyalt párhuzamos algoritmusok implementálására alkalmas általános és speciális párhuzamos működésű hardver rendszerek.

(előadás, gyakorlat, laboratórium):

Előadás

1. Elővizsga: igény esetén a szorgalmi időszak utolsó hetében

A félévközi feladat megoldásához rendszeres (kéthetenkénti) konzultáció.

Horváth, G. (szerk): "Neurális hálózatok és műszaki alkalmazásaik" Egyetemi tankönyv, Műegyetemi Kiadó, 1998.

Haykin, S.: "Neural Networks. A Comprehensive Foundation" Second Edition, Prentice Hall. 1999.

Hassoun, M. H.: "Fundamentals of Artificial Neural Networks" MIT press, Cambridge, 1995

Mitchell, T. "Machine Learning" McGraw Hill, New York, 1997.

Schölkopf, B, Buges, C.J.C., Smola, A. J.: "Advances in Kernel Methods, Support Vector Learning" MIT Press, Cambridge, MA. 1999.

A Méréstechnika és Információs Rendszerek Tanszék WWW szerverén található összefoglaló anyag.

(a tantárgyhoz tartozó tanulmányi idő körülbelüli felosztása a tanórák, továbbá a házi feladatok és a zárthelyik között (a felkészülésre, ill. a kidolgozásra átlagosan fordítandó/elvárható idők félévi munkaórában, kredit x 30 óra, pl. 5 kredit esetén 150 óra)):