Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

    Belépés
    címtáras azonosítással

    vissza a tantárgylistához   nyomtatható verzió    

    Neurális hálózatok

    A tantárgy angol neve: Neural Networks

    Adatlap utolsó módosítása: 2019. március 29.

    Budapesti Műszaki és Gazdaságtudományi Egyetem
    Villamosmérnöki és Informatikai Kar

    Villamosmérnöki szak

    Mérnök informatikus szak,

    Szabadon választható tantárgy

    Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
    VIMIJV07   4/0/0/v 4  
    3. A tantárgyfelelős személy és tanszék Dr. Bolgár Bence Márton, Méréstechnika és Információs Rendszerek Tanszék
    A tantárgy tanszéki weboldala http://www.mit.bme.hu/oktatas/targyak/vimijv07
    4. A tantárgy előadója

    Dr. Pataki Béla egyetemi docens, MIT

    Hadházi Dániel tudományos segédmunkatárs, MIT

    5. A tantárgy az alábbi témakörök ismeretére épít Sztochasztikus folyamatok, Valószínűségszámítás
    6. Előtanulmányi rend
    Kötelező:
    NEM ( TárgyTeljesítve("BMEVIMM9107") )
    VAGY
    NEM ( TárgyTeljesítve("BMEVIMM4373") )
    VAGY
    NEM ( TárgyTeljesítve("BMEVIMM4246") )

    VAGY
    NEM ( Szakirany("I.IntegrIn", "- "))
    VAGY
    NEM ( Szakirany("MVIinte.re", "- "))

    A fenti forma a Neptun sajátja, ezen technikai okokból nem változtattunk.

    A kötelező előtanulmányi rendek grafikus formában itt láthatók.

    Ajánlott:

     

    Kötelező:

    A tárgyat nem vehetik fel, akik hallgatták a Tanuló és hibrid információs rendszerek (VIMM4373) vagy a Tudásalapú architektúrák (VIMM4246), illetve a tárgy előzményeként szerepelt Neurális hálózatok (VIMM9107) tárgyat. 

    7. A tantárgy célkitűzése A tárgy célja, hogy megismertesse a hallgatókkal a "neurális" számítási paradigmát, a mesterséges neurális hálózatok elméleti alapjait, felépítését, bemutassa a tanulás szerepét és áttekintse a legfontosabb tanulási algoritmusokat. A tárgy részletesen foglalkozik a neurális hálózatok alkalmazási lehetőségeivel, és összefoglalja ezen hálózatok hatékony megvalósítási (hardver és szoftver) lehetőségeit.
    8. A tantárgy részletes tematikája

    Algoritmikusan nehezen megoldható feladatok. A tanulás szerepe a feladat-megoldásokban. Gépi tanulás. Ellenőrzött (felügyelt) tanulás.(2 óra)

    Tanuláson alapuló elosztott párhuzamos számító rendszerek, neurális hálózatok:Az elemi neuron (perceptron, adaline) felépítése, képességei és a megfelelő felügyelt tanítási algoritmusok. Hibakorrekciós eljárások (gradiens módszerek).(2 óra)

    Egy- és többrétegű előrecsatolt neurális hálózat, az előre csatolt hálózatok tanítása: backpropagation algoritmus, Levenberg Marquardt eljárás. MLP (2 óra)

    A MLP konstrukciójával kapcsolatos kérdések: képesség, méret, tanítópontok száma, felhasználása, leállási feltétel, regularizáció, stb. (2 óra)

    Bázisfüggvényes hálók (RBF) felépítése és konstrukciójuk kérdései: képesség, tanítás, stb. Hálók működésének értelmezése, regularizáció szerepe, MLP-vel történő összehasonlítás (2 óra)

    Kernel módszerek. szupport vektor gépek (SVM). Konstrukció, osztályozásra és regresszióra. Működésük értelmezése, optimalizálási feladatuk analízise, Lagrange duális függvény értelmezése. SVM-ek gyakorlati megvalósításának kérdései (6 óra)

    A statisztikus tanuláselmélet (SLT) alapjai: kockázat, tapasztalati kockázat, torzítás - variancia dilemma, VC elmélet alapjai, empirikus kockázatminimalizálás konzisztenciája. AZ SLT és az SVM kapcsolata (2 óra)

    Neurális hálók tanításának statisztikai értelmezése, ML és MAP becslésre történő visszavezetése. Direkt regularizációk fajtái Tihonov, Lasso, L0 analízise, valamint implementációs kérdései (2 óra)

    Lokális és globális visszacsatolást tartalmazó hálózatok. Dinamikus neurális rendszerek és tanításuk: Dinamikus backpropagation, Temporal BP, BPTT, RTRL (4 óra)

    Nemlineáris dinamikus rendszerek modellezés neuronhálókkal, modellválasztás, fokszámbecslés Cella alapú visszacsatolt hálózatok típusai és alkalmazásuk, visual attention.  (3 óra)

    Hosszú távú emlékezet kialakításának problémája, szekvenciális hálók tanításának problémái, ezek lehetséges kezelése. Echo State Network, Long / Short Term Memory (LSTM) alapelve, felépítése, működése (2 óra)

    Mély hálók motivációja, illetve új architekturális elemeik (nelinearitások, dropout, batch normalization, skip connection, residual block, stb.). Konstrukciók fő kérdései, főbb problémáik kompenzálása: adatelőfeldolgozás, súly inicializáció, adat augmentáció, tudás transzfer alapú konstrukciójuk (4 óra)

    Mély hálók optimalizálási eljárásai: BFGS, L-BFGS, CG, adaptív gradiens módszerek (Adagrad, RMSProp, Adadelta, AdaptiveMomentum), momentumos gradiens módszerek (heurisztikus, Nesterov momentum). Ezek működésének szemléltetése, korlátjaik, hatásosságuk (4 óra)

    Konvolúciós neurális hálózatok motivációja, felépítése: konvolúciós réteg, transzponált konvolúció, pooling operátorok. Egyszerűbb alkalmazási példák ismertetése. Népszerűbb CNN modellek (VGG, Inception, Resnet, DenseNet, CapsNet) (4 óra)

    Konvolúciós neurális hálók alkalmazása: szemantikus szegmentálás, objektum lokalizáció, objektum szegmentálás. R-CNN, Fast R-CNN, Faster R-CNN, YOLO, SSD, SegNet (2 óra)

    Konvolúciós neurális hálók támadhatósága, működésük magyarázata, interpertáció kérdései: LRP, Lime (2 óra)

    Nem ellenőrzött tanulás eszközei: klaszterezés, főkomponens analízis, autoenkoder hálók, variációs autoenkóder (VAE). Generative Adversial Network (GAN) felépítése, konstrukciós kérdései: mode collapse, optimalizálási problémák, módosításaik (virutal minibatch, feature matching, cycle GAN, stb.). Félig ellenőrzött tanulás alapproblémája, lehetséges megközelítései (Mean teachers, Virtual Adversial Training, GAN alkalmazása) (6 óra).

    Hasonlósági függvények tanulása, few shot learning (1 óra)

    A neurális hálózatok gyakorlati alkalmazásainál felmerülő problémák és azok megoldási lehetőségei. (1 óra)

    Hardver és szoftver implementálási kérdések. (1 óra)

    9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium) előadás
    10. Követelmények

    a. A szorgalmi időszakban: házi feladat bemutató keretében történő elégséges szintű beadása. A feladatbeadás határideje a szorgalmi időszak utolsó hete.

    b. A vizsgaidőszakban: szóbeli vizsga

    Elővizsga: igény esetén a szorgalmi időszak utolsó hetében

    11. Pótlási lehetőségek Házi feladat a pótlási időszakban beadható.
    12. Konzultációs lehetőségek Házi feladathoz kéthetente konzultációs lehetőség. Egyéb konzultáció igény szerint.
    13. Jegyzet, tankönyv, felhasználható irodalom

    Altrichtre, Horváth, Pataki, Strausz, Takács, Valyon (Szerk: Horváth G.): "Neurális hálózatok" Panem, 2006.

    Haykin, S.: "Neural Networks. A Comprehensive Foundation" Second Edition, Prentice Hall. 1999.

    Hassoun, M. H.: "Fundamentals of Artificial Neural Networks" MIT press, Cambridge, 1995

    Mitchell, T. "Machine Learning" McGraw Hill, New York, 1997.

    Schölkopf, B, Buges, C.J.C., Smola, A. J.: "Advances in Kernel Methods, Support Vector Learning" MIT Press, Cambridge, MA. 1999.

    Deep Laerning, MIT Press, http://www.deeplearningbook.org/

    C.M. Bishop: Pattern Recognition and Machine Learning, Springer, 2006.

    A Méréstechnika és Információs Rendszerek Tanszék WWW szerverén található összefoglaló anyagok.

    14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
    Kontaktóra56
    Készülés előadásra12
    Házi feladat elkészítése20
    Készülés vizsgára
    32
    Összesen 120
    15. A tantárgy tematikáját kidolgozta dr. Horváth Gábor
    Egyéb megjegyzések A tárgy neve angolul: Neural networks.