Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

    Belépés
    címtáras azonosítással

    vissza a tantárgylistához   nyomtatható verzió    

    A gépi tanulás biztonsága

    A tantárgy angol neve: Security of Machine Learning 

    Adatlap utolsó módosítása: 2023. január 3.

    Budapesti Műszaki és Gazdaságtudományi Egyetem
    Villamosmérnöki és Informatikai Kar

    Mérnök-informatikus szak

    MSc képzés

    Specializáció, választható C tárgy

    Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév
    VIHIMB09   2/1/0/v 5  
    3. A tantárgyfelelős személy és tanszék Dr. Ács Gergely,
    A tantárgy tanszéki weboldala https://www.crysys.hu/education/
    4. A tantárgy előadója Dr. Ács Gergely, docens, HIT
    5. A tantárgy az alábbi témakörök ismeretére épít Mesterséges intelligencia, Analízis
    6. Előtanulmányi rend
    Ajánlott:
    Mesterséges intelligencia, Analízis 1-2
    7. A tantárgy célkitűzése A tárgy célja, hogy betekintést nyújtson a gépi tanulás és az arra épülő rendszerek biztonsági kérdéseibe, és átfogó jelleggel tárgyalja a gépi tanulási algoritmusok ellen kivitelezhető különböző támadások és védekezési megoldások elvi alapjait és gyakorlati módszereit, valamint a gyakorlatokon és házi feladatokon keresztül betekintést nyújtson a gépi modellek adatvédelmi auditálásának kérdéseibe.
    8. A tantárgy részletes tematikája

    Az előadások részletes tematikája

        A gépi tanulás biztonságának áttekintése: bizalmasság, integritás, rendelkezésre- állás (CIA). Motivációs példák, jogi háttér, kockázat alapú megközelítés

        Döntések manipulációja 1: Támadó modellek, white-box támadások (FGSM, CW, Saliency maps), fizikai támadások

        Döntések manipulációja 2: Black box támadások, támadó minták transzferálhatósága

        Döntések manipulációja 3: Védekezések (támadói tanítás, bizonyítható robusztusság, deep k-NN)

        Tanító adat nem célzott mérgezése (poisoning), védekezések (label flipping, anomália detekció)

        Tanító adat célzott mérgezése (poisoning), feature collision, Witches' Brew, védekezések (minták súlyozása)

        Hátsó kapuk (backdoor) a gépi modellekben, védekezések (Neural Cleanse)

        Trójai támadások gépi modellek ellen

        Rendelkezésre állási problémák: Black- és white-box sponge konstrukciók

        Tanító adat rekonstruálása: Támadó modellek, modell invertálása

        Tagsági támadás (membership attack): Aktív és passzív támadások. gradiens alapú, score alapú, címke alapú támadások 

        Tagsági támadás elleni védekezések: Tanítás differenciális adatvédelemmel (DP-SGD, PATE), regularizáció

        Modell-lopás, védekezések: modell vízjelezése, tanító adathalmaz inferenciája, modellek ujjlenyomat alapú összehasonlítása

        Modellek elmagyarázhatóságának támadhatósága, federált tanulás biztonsága (biztonságos aggregáció, bizánci problémák, KRUM)

    A gyakorlatok/laborok részletes tematikája

        Támadó minták, modellek robusztusságának auditálása 1 (white-box támadások)

        Támadó minták, modellek robusztusságának auditálása 2 (black-box támadások)

        Tanítóadat nem célzott mérgezése, védekezések 2 (label flipping)

        Tanítóadat célzott mérgezése, védekezések 1 (STRIP)

        Hátsó kapuk (backdoor) generálása, védekezések (BadNets, Neural cleanse)

        Tagsági és rekonstrukciós támadások, modellek adatvédelmi auditálása, védekezések 1 (modell inverzió, gradiens alapú támadások, differenciális adatvédelem)

        Tagsági támadások, modellek adatvédelmi auditálása, védekezések 2 (score és címke alapú támadások, regularizáció mint védekezés) 

    9. A tantárgy oktatásának módja (előadás, gyakorlat, laboratórium)     Előadás 

        Tantermi gyakorlat

        Önálló munka (házi feladat megoldása)
    10. Követelmények

    Szorgalmi időszakban:
       
    1 db ZH
    2 db házi feladat


    Az aláírás megszerzésének feltétele a ZH és mindkét házi feladat (egyenként is) sikeres teljesítése. Mind a ZH, mind a házi feladatok esetében, a sikeres teljesítéshez a maximálisan elérhető pontszám minimum 40%-át kell elérni. 

    A ZH eredménye nem számít bele a félévvégi jegybe. A házi feladatokból maximálisan 2x25 pont szerezhető, a teljesítésükhöz tehát minimum 2x10 pontot kell szerezni. A megszerzett pontok beszámítanak a félévvégi jegybe.

    Vizsgaidőszakban:
      
    Írásbeli vizsga 

    A vizsga sikeres teljesítéséhez a maximálisan elérhető pontszám minimum 40%-át kell elérni. A vizsgán maximálisan 50 pont szerezhető, a sikeres vizsgához tehát minimum 20 pontot kell elérni.

    A tárgyból szerzett pontszám: P = V + HF1 + HF2, ahol V a vizsgán szerzett pontszám, HF1 és HF2 pedig a házi feladatokból szerzett pontszám.

    A félévvégi jegy számítása:

    jeles (5) – ha P >= 85 pont 

    jó (4) – ha P >= 70 pont

    közepes (3) – ha P >= 55 pont

    elégséges (2) – ha P >= 40 pont

    elégtelen (1) – ha P < 40 pont

    11. Pótlási lehetőségek A sikertelen vagy mulasztott ZH egyszer pótolható.

    A házi feladatok beadási határideje a szorgalmi időszakban van, a pontos határidők kihirdetése a félév első hetében történik. A házi feladatok pótlólagosan a kihirdetett határidők után maximum 1 héttel adhatók be, az így beadott házi feladatokra azonban 15% pontlevonás kerül alkalmazásra
    12. Konzultációs lehetőségek Az előadóval előre egyeztetett időpontban.
    13. Jegyzet, tankönyv, felhasználható irodalom Előadásokhoz rendelt online olvasnivalók (könyvfejezetek, cikkek, blogsorozatok)
    14. A tantárgy elvégzéséhez átlagosan szükséges tanulmányi munka
    Kontakt óra42
    Félévközi készülés órákra0
    Felkészülés zárthelyire20
    Házi feladat elkészítése40
    Kijelölt írásos tananyag elsajátítása8
    Vizsgafelkészülés40
    Összesen150
    15. A tantárgy tematikáját kidolgozta Dr. Ács Gergely, docens, HIT