Budapest University of Technology and Economics, Faculty of Electrical Engineering and Informatics

Név:	Beosztás:	Tanszék, Intézet:
Gáspár Csaba	egyetemi tanársegéd	TMIT
Nagy István	tanszéki mérnök	TMIT

Alapszintű programozási ismeretek, alapvető adat- és algoritmuselméleti alapfogalmak

A tárgy célja, hogy gyakorlati oldalról mutassa be a hallgatóknak az adatelemzés során leggyakrabban használt nyelveket és eszközöket. Az előadások, laboratóriumi foglalkozások, valamint a házi feladatok során bemutatott és megoldott valós esettanulmányokon keresztül olyan alkalmazott tudáshoz jutnak, amellyel a jövőben képesek lesznek bármilyen adatelemzési feladat megoldására.

1. Előadás: Bevezetés. A leginkább elterjedt adatelemzési nyelvek és megoldások bemutatása. Shell script, mint adatelemzési eszköz. Labor: előadáshoz kapcsolódó ismeretek egy példafeladaton keresztül történő begyakorlása.
2. Előadás: Awk és sed, reguláris kifejezések. Labor: előadáshoz kapcsolódó ismeretek egy példafeladaton keresztül történő begyakorlása.
3. Előadás: Az R nyelv alapjainak bemutatása: használt programozási paradigma, változók, értékadás és egyszerű típusok, fontosabb operátorok, vektorok, szekvenciák. R vezérlési szerkezetek és függvények. Adatbevitel, adat transzformációk és adatok csoportosítása, valószínűségi operátorok, alapstatisztikák. Labor: előadáshoz kapcsolódó ismeretek egy példafeladaton keresztül történő begyakorlása.
4. Előadás: R-ben használt további adatstruktúrák és használatukhoz szükséges operátorok: listák, faktorok, mátrixok, data frame. Speciális adattípusok és használatukhoz szükséges operátorok: sztringek és dátumok. R modellezési eljárások (osztályozás, regresszió), optimalizálás, feature extraction és selection módszerek.  Labor: alapvető operátorok, struktúrák és vezérlési szerkezetek begyakorlása egy valós telekommunikációs adatsoron.
5. Előadás: A SAS nyelv alapjainak bemutatása: programozási paradigma, data lépés, alapvető adattárolási struktúrák és vezérlési szerkezetek, táblaegyesítési módszerek (set join). Labor: előadáshoz kapcsolódó ismeretek egy példafeladaton keresztül történő begyakorlása.
6. Előadás: SAS eljárások és statisztikai megjelenítések. Adattisztítási módszerek. Labor: előadáshoz kapcsolódó ismeretek egy példafeladaton keresztül történő begyakorlása.
7. Előadás: SAS makró nyelv, makró változók, makró programok, program író makrók. Labor: előadáshoz kapcsolódó ismeretek egy példafeladaton keresztül történő begyakorlása.
8. Előadás: SAS nyelv használata regressziós és klaszterezési problémák esetében. Labor: alapvető operátorok, struktúrák és vezérlési szerkezetek begyakorlása egy valós banki adathalmazon.
9. Előadás: A Python nyelv alapjainak bemutatása: programozási paradigma, adattárolási struktúrák (pandas) és a feldolgozásukhoz szükséges operátorok. Labor: előadáshoz kapcsolódó ismeretek egy példafeladaton keresztül történő begyakorlása.
10. Előadás: Python vezérlési szerkezetek és függvények. Labor: előadáshoz kapcsolódó ismeretek egy példafeladaton keresztül történő begyakorlása.
11. Előadás: Idősorok elemzése Pythonnal: tartományok és kezelésük, időzónák kezelése, mintavételezés és frekvenciakonverzió, modellezési és megjelenítési kérdések. Labor: alapvető operátorok, struktúrák és vezérlési szerkezetek begyakorlása egy valós tőzsdei adatsoron.
12. Előadás: Eddigi nyelvek összehasonlítása, az egyes nyelvek előnyeinek és hátrányainak összefoglalása. Labor: valós adatelemzési problémák megoldása csoportmunkában a megismert eszközök segítségével.
13. Előadás: Kitekintés, nagy adathalmazok kezelésére szánt technológiák (MapReduce, Pig, Hive), speciális adatszerkezetek kezelésére létrehozott technológiák (GraphLab), egyéb adatfeldolgozási paradigmák áttekintése.  Labor: valós adatelemzési problémák megoldása csoportmunkában a megismert eszközök segítségével.
14. Előadás: Esettanulmányok: valós üzleti problémák megoldásának bemutatása az előadás során ismertetett eszközökkel. Labor: példa vizsgafeladatok megoldása közösen.

• A szorgalmi időszakban minden nagyobb blokkhoz (3) gyakorlati kisházi feladat kapcsolódik, amelynek keretében a hallgatónak valós adathalmazokon kell, valós adatelemzési feladatokat megoldani. Az elfogadott (legalább elégséges szintű) házifeladatok a félévvégi aláírás feltételei.
• A vizsgaidőszakban írásbeli vizsga. A végső vizsgajegy megállapítása: 50%-ban a kisházi feladatok átlagos eredménye + 50%-ban a vizsgán nyújtott teljesítmény. 

Az oktatókkal való egyeztetés alapján.

1. Dale Dougherty and Arnold Robbins: sed & awk, 2nd edition. 1997, O'Reilly Media. ISBN 978-1-56592-225-9
2. Philipp K. Janert: Data Analysis with Open Source Tools. A hands-on guide for programmers and data scientists. 2010, O'Reilly Media. ISBN 978-0-596-80235-6
3. W. N. Venables, D. M. Smith: An Introduction to R.  URL http://cran.r-project.org/doc/R-intro.pdf
4. Lora D. Delwiche, Susan J. Slaughter: The Little SASŸ Book: A Primer, Fourth Edition. Cary, NC, USA, 2008, SAS Institute Inc. ISBN 978-1-59994-725-9
5. Wes McKinney: Python for Data Analysis. Agile Tools for Real World Data. 2012, O'Reilly Media. ISBN 978-1-4493-1979-3

 

Név:	Beosztás:	Tanszék, Intézet:
Nagy István	tanszéki mérnök	TMIT
Gáspár-Papanek Csaba	egyetemi tanársegéd	TMIT
Dr. Magyar Gábor PhD	egyetemi docens	TMIT
Barta Gergő	PhD hallgató	TMIT
Kazi Sándor	PhD hallgató	TMIT
Nagy Gábor	PhD hallgató	TMIT