Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

Dr. Pataricza András egyetemi tanár, Méréstechnika és Információs Rendszerek Tanszék

Dr. Kocsis Imre adjunktus, Méréstechnika és Információs Rendszerek Tanszék

valószínűségszámítás és mesterséges intelligencia/gépi tanulás alapjai

Az utóbbi évtizedekben exponenciálisan növekvő mennyiségű mérési, megfigyelési adatot rögzí­tenek az élet minden területén (gazdasági folyamatok, társadalmi viszonyok, tudományos célú vizsgálatok stb.). Az adatelemzés célja a gyakran mintegy melléktermékként létrejövő adatokban rejlő tudás kinyerése, az adatkapcsolatok felderítése, előrejelzési modellek generálása, stb.

A nagymennyiségű adat elemzésénél, az ún. Big Data problémakörben az adatok óriási mennyi­sége (tera-, peta-, ill. hexabyte méretű adatbázisok) mellett nehézség a legkülönfélébb formában rendelkezésre álló adatok fúziója és homogenizálása is. Az egyre nagyobb feldolgozási kapa­citású számítási eszközök mellett célalgoritmusok és -architektúrák biztosítják az óriási adat­mennyiség elérhető árú és idő alatti hatékony elemzését.

Az új lehetőségek olyan új kérdéseket vetnek fel, mint a megfelelő adatok megszerzését biztosító kísérlettervezés, a mérés megtervezése, valamint a megszerzett adat elemzése. A Big Data körében kritikus szempont az adatelemzési módszerek megfelelő skálázhatósága, a számítási komplexitás növekedésének kézbentartása, továbbá a sokdimenziós adatok hatékony ábrázo­lása, vizualizációja.

A tárgy célja, a Big Data problémakör megoldását biztosító eszközök és módszerek áttekintése, a nagy adatmennyiségből adódó speciális problémák kezelése. A tárgyaláshoz több szempontból előnyös, közös nevező a komplex modellek használata, valamint az adatok hatékony ábrázolása, vizualizációja, ide értve a vizuális adatelemzés lehetőségeinek áttekintését is.

A tantárgy követelményeit eredményesen teljesítő hallgatók:

1.   Ismerik az elemzésre szolgáló alkalmas legfontosabb dedikált hardver/szoftver eszközö­ket, valamint a kinyert tudás integrációját a tipikus informatikai kulcsterületeken. Ezen belül jártasak az elterjedten használt, nyílt forráskódú R nyelvű eszközök és azok Big Data irányú kiterjesztéseinek használatában.

2.   Képesek az informatika széles területén az ismeretszerzési folyamatok tervezésére, végrehajtására és eredményük szabatos reprezentációjára. Ismerik a kísérlettervezés, adatminőség-biztosítás, adattisztí­tás, adatelemzés, értelmezés, döntéstámogatás és modellalkotás fázisait.

• 1. hét Bevezetés. A Big Data probléma áttekintése és megfogalmazása különböző alkalmazási területekről származó gyakorlati példákon keresztül. A Big Data analízis céljai. A kiértékelés és értelmezés problémája. Adatintegrálás, tudásfúzió. Adatmodellezés és informatikai alkalmazásmodel­lek kapcsolata.

• 2. hét. Adatgyűjtés és -kiértékelés alapjai. Kísérlettervezés. A statisztikai adatok sokfélesége. Információfúzió. Megfigyelt változók és kapcsolataik jellemzése: alapvető statisztikai fogalmak.
  

• 3. hét Adatfeldolgozó és statisztikai keretrendszerek; az R környezet és adaptálása a Big Data problémára. Példa: számítógépes loganalízis.

• 4. hét Adatok vizualizációja. Sokdimenziós, bonyolult szerkezetű adatok megjelenítése és vizuális feltáró analízise. Vizuális analízis paradigmák, diagramtípusok és felhasználásuk.
  

• 5. hét Statikus és interaktív R vizualizációs csomagok; Mondrian. A felhasználói vizualizáció eszközei (processing.js alapok).  Példák: cloud teljesítményanalízis, számítógépes csalásfelderítés.

• 6. hét Klasszikus adatelemzés alapú modellalkotás. Korrelációanalízis, klaszterező és klasszifikációs módszerek, adatkapcsolatok. Dimen­zióredukció és alkalmazása az informatikában.
  

• 7. hét Lineáris és nemlineáris modellek. Hiányos adatok kezelése. Példa: számítógéprendszer monitorozandó jellemzőinek kiválasztása. Analízis minták, az adatelemzési munkafolyamat-automatizálás eszközei (KNIME, KEPLER).

• 8. hét Big Data’ statisztikai modellezés. Mintavételezés, szűrés, nagy adattömegre adaptált statisztikai modellezés és eszközei (pl. korrelációk, klaszterező módszerek, neurális hálók, kernel módszerek).
  
• 9. hét Modelladaptáció. Modellek alkalmazása futási időben. Példa: szenzorkiválasztás monitorozó rendszerben. 

• 10. hét Párhuzamosított feldolgozás eszközei. Finom és durva granularitású párhuzamosítás; adattárolás és –feldolgozás algoritmikus harmonizálása. Többmagos, FPGA, GPU, Grid, MapReduce/Hadoop és kapcsolódó eszközök bemutatása.
  

• 11. hét Az eszközök beágyazása statisztikai keretrendszerekbe, Revolution, Oracle és IBM R megoldások. Példa: egy benchmark probléma összehasonlítása a különböző platformokon.

• 12. hét Modellek hordozása az adatelemzési és informatikai modelltartományok között (PMML). A kinyert modellek ellenőrzése és általánosítása. Validálás, verifikálás. Érzékenység­analízis, metakategorizálási szabályok kinyerése. Példa: szoftver és webes alkalmazás teljesítményanalízise.

• 13. hét Alkalmazások. Esettanulmányok.

• Egy kötelező házi feladat. A házi feladat egy gyakorlati ‘Big Data' probléma megoldása az előadáson megismert módszerek és eszközök segítségével. A házi feladat bemutatása és értékelése az utolsó oktatási héten történik, egy közös nyilvános bemutató keretében.

A házi feladat késedelmes teljesítésére a pótlási időszak végéig van lehetőség oly módon, hogy a hallgató a feladat megoldását beadja és a tárgy előadóival egyeztetett időpontban rövid előadás formájában (hasonlóan a nem késedelmes teljesítéshez) bemutatja. A késedelmes teljesítést - a TVSZ-szel konform módon - a késedelmesen leadott és bemutatott feladat értékelésének húsz százalékkal csökkentésével vesszük figyelembe. A nem késedelmesen leadott, de késedelmesen bemutatott feladatokra ugyanezen szabályok vonatkoznak; házi feladatot bemutatás nélkül nem fogadunk el. A pótlási időszak végéig lehetőség van a leadott, bemutatott és elfogadott házi feladatok - a tárgy oktatóival egyeztetett - kiegészítésére és javítására is.

Igény szerint, előre egyeztetett időpontban.