Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

Hét

Előadás és gyakorlat anyaga

1.

Motiváció. Matematikai alapok. Metrikus, topologikus terek. Gráf, manifold, csoportok, geodesics, grid fogalma. Szimmetria és invariancia. A gráf reprezentáció korlátjai. Milyen feladatokat lehet tipikusan geometriai, ill. topologikus mélytanulásra visszavezetni és megoldani.

Gyakorlat: Python és PyTorch alapok.

2.

Bevezetés. Gridek. Hebb tanulás, neurális hálók. GPU felépítése. Mély neurális háló. Grid fogalma, konvolúciós neurális háló ismertetése.

Gyakorlat: Konvolúciós neurális háló implementálása PyTorchban.

3.

Gráfok. Gráfok és halmazok bemutatása. Gráf operátorok, gráf konvolúciós neurális háló ismertetése, összehasonlítása konvolúciós hálókkal (gridek és gráfok közti különbségek).

Gyakorlat: Gráf neurális háló (GNN) implementálás, egyszerű osztályozási feladat.

4.

Gyakran használt könyvárak. Feladatok csoportosítása és megoldási lehetőségek gráfoknál, kitérve a különbségekre: gráf osztályozása, node-ok, edge-k becslése. PyG (PyTorch Geometric) és DGL keretrendszer megismerése.

Gyakorlat: Gráf neurális háló implementálás egyszerű csúcspontok (node-ok) és élek (edge-k) becslése.

5.

Heterophily. A gráf neurális hálóknak nagy kihívást jelent, amikor a szomszédos node-ok különbözőek, ezeken az adatokon alapból rosszabban teljesít. Ezeket az eseteket vizsgáljuk ezen az előadáson.

Gyakorlat: Heterophily: gráf neurális háló limitáció a gyakorlatban, lehetséges megoldási stratégiák

6.

Figyelmi mechanizmus gráfoknál. Graph transformer architektúra megismerése. Figyelmi mechanizmus definiálása gráfoknál (Self-attention, positional encoding).

Gyakorlat: Gráf transformer megvalósítása.

7.

Nem felügyelt tanulás, heterogeneitás, kontrasztív tanulás gráfokon. Megismerjük a nem felügyelt tanulás lehetőségeit gráfokon, emellett a kontrasztív tanulás segítségével, megtanuljuk, hogyan kezeljük a gráfokban lévő adatok heterogenitásának kihívását.

Gyakorlat: Nem felügyelt tanulás, kontrasztív tanulás.

8.

Gráf generálása. Gráf generatív modellek, gráfok generálásának lehetőségei.

Gyakorlat: Diffúziós háló gráfokon.

9.

Megmagyarázhatóság (XAI – Explainibility). Megmagyarázhatóság definiálása. Megvizsgáljuk, hogy milyen lehetőségeink (pl. explainerek) vannak a megmagyarázhatóság értelmezésére gráfoknál.

Gyakorlat: Explainerek használata.

10.

Geometriai mélytanulás. A gráfok és gridek mellett megismerkedünk, hogy milyen területei vannak a geometriai mély tanulásnak (pl. manifold, geodesics).

Gyakorlat: Általános geometriai mélytanulás.

11.

Topologikus adatelemzése. A topologikus adatelemzés megismerése (TDA – Topolocial Data Analysis), a különbségek a topologikus mélytanulás és a topologikus adatelemzés között.

Gyakorlat: Topologikus adatelemzés gyakorlat

12.

Topologikus mélytanulás reprezentációk. Egyszerű komplexek. Cella kompexek. Hipergráfok. Példák.

Gyakorlat: Molekuláris tulajdonságok becslése, TDL reprezentációk.

13.

Topologikus neurális hálók. A topologikus neurális hálók megismerése, a gráf neurális háló kiterjesztése.

Gyakorlat: Topologikus neurális háló.

14.

Tudománytörténeti áttekintés. Az előadáson áttekintjük, hogy hogyan fejlődött ki a geometriai és topologikus mélytanulás. Összefoglaljuk a jelenlegi state-of-the-art-ot, megbeszéljük a kihívásokat, és megismerünk tudománytörténeti érdekességeket.

Gyakorlat: Házi feladat bemutatása