[NPFL067] Stat. NLP – Condtitonal Cross Entropy

Cabroušek · Příspěvek od **Cabroušek** » 11. 1. 2011 02:49

Nevíte někdo, jestli je správně vzorec pro conditional coss entropy v Hajičových slidech:
$H_{p'}(p) = -\frac{1}{T'}\sum_{i = 1...|T'|} \mathrm{log}_2 \left( \mathsf{p}(y_i | x_i) \right)$
Pokud ano, co přesně znamená $y_i$ a $x_i$ ?

Jak by se tedy měl řešit příklad 2 ze zadání http://ufal.mff.cuni.cz/~hajic/courses/ ... swers.html?

kr4UT1k · Příspěvek od **kr4UT1k** » 11. 1. 2011 11:19

vzorec nevím, ale H = - 1/|T| * (pL(b)+p(a|b)+p(a|a)+p(a|a)) = - 1/4 * (-3 + 0 -1 -1) = 5/4

edit: nevím, jestli jistě pL(b), možná pR(b), ale obojí je stejný, tak tady to nevadí.

Cabroušek · Příspěvek od **Cabroušek** » 11. 1. 2011 11:56

Díky moc. Já to pořád počítal, až od toho prvního „opravdového bigramu“, tj. $\mathsf p(a|b)$ a pak to dělil třema, proto mi to nevycházelo. (Chybí ti tam logaritmy před těmi pravděpodobnostmi.

)

Jinak ten vzorec je nejspíš správně, akorát se musím smířit s tím že $x_i$ je historie $y_i$ .

Fórum studentů MFF UK

[NPFL067] Stat. NLP – Condtitonal Cross Entropy

[NPFL067] Stat. NLP – Condtitonal Cross Entropy

Re: [NPFL067] Stat. NLP – Condtitonal Cross Entropy

Re: [NPFL067] Stat. NLP – Condtitonal Cross Entropy