IUI Strojové učení - 8.6.2017

Vše o státnicích úspěšně završujících roky studia na naší alma mater.
petrbel

IUI Strojové učení - 8.6.2017

Příspěvek od petrbel »

Celkem nás bylo 11, rozděleni do dvou skupin (každá se svojí komisí). Sraz v 9 ráno, konec kolem 1 odpoledne. Naše komise byla Barták, Vomlelová, Neruda, Majerech, Hladík, Božovský (a ještě asi někdo). Všichni prošli v obou skupinách.

Seděli jsme ve velké posluchárně. Zkouška probíhala tak, že zkoušející postupně chodili po studentech a zadávali jim otázky, nechávali cca 20min na přípravu a pak se vrátili a poslechli si to (a doptávali se dál). Celkem to navazovalo a až na pár výjimek se moc dlouho nečekalo. Většinou si zkoušku šel kromě zkoušejícího poslechnout i nějaký další člen komise, který pendloval třeba mezi 2 probíhajícíma zkouškama.

Na konci ze všech zkoušení vyplynula jedina (průměrná?) známka (ale asi žádnou nemůžete úplně failnout).

Moje otázky:

Datovky - Hladík - Binomiální haldy: co to je, jak to funguje, jaké operace máme, jak je to rychlé + líná varianta, amort. odhady. K čemu se haldy vlastně používají a jestli znám nějakou lepší (fib.) a krátce jak funguje, ale žádné detaily.

Slož. & vyčísl - Majerech - Algoritmicky nerozhodnutelné jazyky + Halting problem: řekl jsem co je to jazyk, (ne)rozhodnutelný jazyk, Postovu větu, existenci nerozhodnutelného jazyka (L_DIAG). Ke každé větě padla otázka, která byla poměrně lehká, ale měla prozkoumat, že tomu fakt rozumim (např. proč je teda spočetně mnoho TS nebo jak TS zakódovat do binární abecedy). Pak jsem šel k halting problemu a důkazu jeho m-úplnosti a tam už stačilo jenom říct, že je m-úplný a pan Majerech řekl, že to umim a že už je to ztráta času :D

Přírodou insp. počítání - Neruda - Genetické programování: Tady chtěl hlavně co to je, jednotlivé operátory, proč stromy bobtnají a jak s tím bojovat (omezení hloubky/velikosti, regularizace pomocí termu ve fittness, ...) a potom jak fungují ADF a jak na nich definovat operátory. Nakonec bonusová otázka jak na primárních stormech a ADF pouštět koevoluci (ale to už jsem cítil, že se zeptal jenom proto, že nebylo koho jiného zatím zkoušet) - to byla spíš taková diskuze jako co by mě tak napadlo.

Neuronové sítě - Božovský - Hledání suboptimálních řešení: Tady vlastně nevím, co jsem měl říct, protože hledání subopt. řešení se chceme typicky vyhnout. Takže jsem ukázal, že backprop se může zaseknout v lokálním minimu a že momentum tomu může zabránit (tady chtěl vzorečky na gradient descent s momentem, ale ne vlastní backprop natož jeho odvození). Dál jsem zmínil nějaké augmentace trénovacích dat a náhodné perturbace vah neuronů. Dál jsem zmínil problém lokálních optim u hopfielda a že se to dá řešit pomocí simulated annealing (tady byl potřeba vzoreček a vysvětlení jak funguje) -> Boltzman machine (zmínka o RBF, ale jen malá). Nakonec jsem zmínil SOM a problém mrtvého neuronu, načež se mě zeptal, jak to řešit a jak inhibiční funkce a velikost okolí ovlivňuje mrtvé neurony. Trochu jsme se v tom patlali, ale nakonec v poho.

Machine learning - Vomlelová - Teoretické aspekty ML: nejdřív se mě zeptala, co si pod tou otázkou představuju (k-fold crossval, train/test split, bias-variance) a pak doplnila svoje (overfitting, prokletí dimenzionality). Ke každému jsem něco krátce neformálně řekl nebo nakreslil a padlo pár dotazů. Např. proč se chyba nedá dekomponovat jenom na bias a variance (chybí ještě šum) nebo proč k-fold crossval může dávat špatné výsledky. Proč je nutné mít train/valid/test split, jak je to s časovo náročností třeba u LOOCV atd.

Celkem to bylo příjemné a rychlé, všichni zadávali otázky jasně a srozumitelně, typicky napověděli co chtějí slyšet a ujistili se, že tomu rozumíme (snad s výjimkou neuronovch sítí, kde jsem žádný hint nedostal a moc nevěděl co vlastně říkat). Při nejasnostech napovídali a snažili se vytáhnout aspoň něco. Otázky padaly přesně tak jak jsou v karolínce, takže poměrně široce (ale zkoušející většinou upřesnil jakým směrem chce jít). Je potřeba dobře znát základní pojmy a rozumět celé problematice. Naopak technické důkazy úplně asi potřeba nejsou - spíš jde o to komisi přesvědčit, že tomu fakt rozumíte.
Gyfis
Matfyz(ák|ačka) level I
Příspěvky: 2
Registrován: 2. 1. 2013 10:20
Typ studia: Informatika Bc.

Re: IUI Strojové učení - 8.6.2017

Příspěvek od Gyfis »

Já jsem byl spolu s @petrbel na tomto termínu. Měl jsem otázky:

Základy složitosti a vyčíslitelnosti - Hladík - Polynomiální algoritmy a silná NP-úplnost: V přípravě jsem vypsal definice silné NP úplnosti, restrikce problému a pseudopoly algoritmu, vypsal jsem myslím všechny definice které byly potřeba. Načrtnul jsem si pseudopoly alg. pro Baťoh a důkaz že TSP je silně NP-úplné (převod z Hamiltonské kružnice). Pak přišel zkoušející a začali jsme to procházet - z toho co jsem napsané neměl chtěl slyšet příklady silně a nesilně NP-úplných problémů, důkaz že TSP je silně NP úplné mu stačil slovně, co ale chtěl pořádněji byl pseudopoly alg pro Batoh. Nejdřív tedy zadefinovat ten problém (pak přišel Majerech s tím, že potřebuju rozhodovací problém aby vše bylo košér, takže úprava optimalizační verze), potom načrtnout tabulku a popsat co a jak se přepisuje na co. V tom jsme se trochu zahrabali, ale nakonec to nebyl takový problém.

Přírodou inspirované počítání - Neruda - NEAT: Dostal jsem za úkol nejdříve popsat obecně neuroevoluci, jak se k tomuto tématu přistupuje a jaké problémy se řeší (např. obtížné křížení), a potom jsme se dostali k NEATu. Zkoušení bylo víceméně formou diskuze, ale dostali jsme se celkem do hloubky (např. jak by se dal modifikovat NEAT aby ještě trochu lépe řešil tagy hran). Zmínil jsem i HyperNEAT, z čeho měl zkoušející zřejmě radost.

Datové struktury - Majerech - Haldy: Zkoušející si po "hození kostkou" mnou navrhnutým číslem přečetl dané zadání z papíru, znělo Haldy, závorka regulární a binomiální, a ty přesně chtěl. Zkoušení bylo nečekaně netechnické, stačily idei všech výpočtů hloubek. Např. u linearity konstrukce d-regulární haldy jsem řekl, jak by se počítala (suma hloubky a počtu vrcholů na dané úrovni stromu), pan Majerech se chvíli zamyslel, řekl že tomu věří pro d=2 a víc není potřeba. Chtěl jsem více mluvit o líných bin. haldách, ale nebylo potřeba.

Strojové učení - Vomlelová - Pravděpodobnostní přístupy v ML: Musel jsem se doptat, co chtěla paní Vomlelová pod touto otázkou slyšet, na což mi bylo řečeno že chce MAP a maximum likelihood napsat vzorečky. A potom že si mám připravit něco z klasického supervised learningu, protože si myslí, že to nebude stačit. Zkoušení bylo vcelku důkladné a vydalo se směrem do hloubky pochopení látky (např. které se používá, zda MAP nebo maximum likelihood a podobné otázky), přes to jsme se ale nakonec probourali k supervised learningu, kde jsem mluvil o bias-variance trade-off, také parametrické a neparametrické metody (tady chtěla slyšet příklady z obou skupin metod). Připravil jsem si i odvození naive bayes, které zkoušející prošla bez větších komentářů - usuzuji, že to nebylo to, na co se chtěla při zkoušení zaměřit. I když zkoušející vypadala, že by nejradši ještě něco slyšela, nakonec to stačilo. (Celková známka byla 1, takže to stačilo nejspíš velmi dostatečně).

Neuronové Sítě - Božovský - Backprop: Poslední mé zkoušení a jedno z posledních toho dne, zkoušející mi zadal tuhle otázku a při zkoušení jsme se bavili hlavně o principu, jak funguje backprop, proč děláme derivaci, rozdíly mezi lokální a globální chybou, proč může error růst při učení apod. Při přípravě jsem napsal error funkci, ta se sešla, a také nějaké odvození vah, ale to ho vůbec nezajímalo, šel spíše po principu a pochopení.

Celkově skvěle zorganizované zkoušení, nestalo se mi, že bych delší dobu čekal bez zadané otázky. Příjemné mi přišlo, že se opravdu nevyžadovaly technické detaily, ale šlo se po podstatě zkoušené látky.
Odpovědět

Zpět na „Magisterské SZZ“