Strojové učenie - Machine Learning

Zima 2013/2014

2-INF-150

Prednášky a cvičenia
    F1-108, streda 11:30
    F1-328, štvrtok 08:10 Pavel Petrovič, I-19, petrovicfmph.uniba.sk

Hodnotenie
    zadania z cvičení: 40%, minimum: 20%
    projekt: 20%, minumum: 10%
    skúška: 40%, minimum 20%

    Skúška bude písomná. zoznam tém

Kontakt
     e-mail: petrovicfmph.uniba.sk


Stránky z predchádzajúcich rokov

Projekt

    Informácie o projekte a množina zadaní bude na stránke projektov.

Prednášky

25.9. Motivačná prednáška 26.9. Lineárna regresia - prípad pre jeden atribút
            materiály: podľa týchto poznámok
            literatúra: Bishop:3.1
2.10. Lineárna regresia - viacero atribútov, bázové funkcie, lokálne váhovaná regresia, iné chybové funkcie
            materiály: podľa týchto poznámok
            literatúra: Bishop:1.1,5.1,5.2.3-5.2.4,5.3.1
3.10. Lineárna regresia - alternatívne metódy, neurónové siete - gradientové, spätné šírenie chýb, genetické programovanie
            materiály: napr. tu, alebo: tu
            literatúra: Bishop:5.*; Mitchell:4.*; Eiben
9.10. Teória učenia - úvod a motivácia, Bayesovské uvažovanie, minimizing misclassification rate and expected loss, reject option, hypotheses version space, general to specific, find-s, list-then-eliminate, candidate-elimination
            materiály: Bishop's and Mitchell's: od version space
            literatúra: Bishop:1.5; Mitchell:2.*;
10.10 Teória učenia - sample error, true error, confidence intervals
            materiály a literatúra: materiál z Waterloo, tiež Mitchell: chap.5, chap.7,
16.10. Teória učenia - porovnanie hypotéz a dvoch algoritmov, t-test, rozhodovacie stromy, id3, extrakcia pravidiel, orezávanie, spojité a chýbajúce atribúty, atribúty s cenou
            materiály a literatúra: Mitchell's: chap.5
17.10. Dokončenie rozhodovacích stromov, odhady chýb
            materiály a literatúra: Mitchell's: chap.3
23.10. MDL, PAC
            materiály a literatúra: Mitchell's: chap.7 (PAC), materiál z Waterloo (MDL)
24.10. online learning
            materiály a literatúra: materiál z Waterloo (na konci)
30.10. VC-dimenzia, SVM(1)-LM
            materiály a literatúra: Mitchell's: chap.7 (VC), SVM: tieto poznámky, alebo pozri dolu na tejto stránke
6.11. Ensemble methods - bagging, boosting
            literatúra: Bishop: ch.14
7.11. Adaboost
            literatúra: Bishop: ch.14
13.11. K-nearest neighbors, CBR
            materiály a literatúra: Mitchell's: chap.8, prípadne Kapustík
14.11. k-means, EM, PCA
            materiály: tutoriál
            literatúra: Bishop: 12.1
prestávka: samoštúdium - ostatné témy unsupervised learning, pozri poznámky tu
27.11. PCA, ICA - len pre info, pozri tutorial dole, prípadne Bishop 12.4
28.11. Bayesian learning: MAP, ML, Bayes optimal, Gibbs, and Naive Bayes classifiers, and applications, Bayesian networks
            materiály a literatúra: Mitchell's: chap.8
4.12. HMM, MDP
            materiály a literatúra: poznámky, Bishop: 13.2 a z Probabilistic Robotics: MDPs
5.12. POMDP
            materiály a literatúra: z Probabilistic Robotics: MDPs
11.12. RL
            materiály a literatúra: Sutton,Barto
18.12. Kalman filter
            materiály a literatúra: z Probabilistic Robotics: Kalman (chap3)


Cvičenia

Domáce úlohy odovzdávajte prosím cez L.I.S.T.

• Dú1: naprogramujte hru zviera s nie úplne triviálnou modifikáciou (5/0 bodov)
• Dú2: odvoďte všetky algebraické vzťahy z maticového počtu (0/5 bodov)
• Dú3: lineárna regresia: vyberte si z ML data set repository vhodné dáta na LR a pomocou Octave nájdite riešenie - vyskúšajte rôzne prístupy (napr. podľa rôznych atribútov, s rôzne veľkou trénovacou množinou a pod.) a porovnajte na príkladoch testovacej množiny. Hinty: príklad. (5/3 bodov)
• Dú4: vyberte si jednu z alternatívnych metód na regresiu, resp. iný druh regresie a otestujte na nejakom data sete, napr. pomocou neurónových sietí, genetického programovania, wavelet transform a pod. - môžete využiť ľubovoľné knižnice/platformu. (0/5 bodov)
• Dú5: vyberte si dve rôzne klasifikačné algoritmy (môžu byť aj jedného typu, ale aspoň jeden z nich by mal využívať rozhodovacie stromy), vyberte si vhodný dataset z repozitára, natrénujte hypotézu na dátach a porovnajte tieto hypotézy vhodným štatistickým testom (10/4 bodov)
• Dú6: malé cvičenie - odvodiť vzdialenosť bodu od priamky (0/3 body)
• Dú7: SVM: nájsť vhodný dataset, natrénovať, overiť na testovacej množine, môže byť vlastná implementácia i využitá knižnica - v tom prípade ale lepšia dokmuntácia/diskusia (10/0)
• Dú8: Rozhodovacie stromy (0/5)
• Dú9: PCA (10/3)
• Dú10: HMM (5/0)
• Dú11: Bayesian nets (0/5)
• Dú12: POMDP (0/5)
• Dú13: RL (5/5)
• Dú14: Kalman (0/5)

Doplňujúci materiál

• Bayesian Robot Programming
• Material for the book Probabilistic Robotics
• Tom Mitchell: Machine Learning - slides
• dokument o teórii učenia
• svm
• Lagrange
• KKT conditions
• svm tutorial
• ICA tutorial

Platí fair-play v zmysle štúdijného poriadku.