Posts

Un video para explicar (entender) naive bayes

Image
Mi proyecto de verano consistió en tratar de entender con relativa minuciosidad un algoritmo que siempre aparece en las introducciones al NLP, y que siempre --rigurosamente-- me salteo. Pero esta vez no. Me gustó encontrar la chance de poder explicar algún tema de machine learning casi desde cero --en este mundo donde todo parece exigir el prerrequisito del prerrequisito para captar realmente algo --. Este caso es un poco más amable; en algo así como una hora pude ir desde los conceptos más básicos de probabilidad al core de este clasificador. En el camino, además, descubrí algunas ideas o intuiciones interesantes y premonitorias, como la de language model . En fin, sin más preámbulos, acá el video: Me basé fundamentalmente en dos libros: Speech and Language Processing, de Dan Jurafsky y James H. Martin (capítulo 4), pero más aún en la  Introduction to information retrieval , de Christopher Manning, Prabhakar Raghavan y Hinrich Schutze. Y en la documentación siem...

Logaritmos

Estudiando naive bayes me topo con el logaritmo; nunca supe bien qué era. Como todo en matemática, empieza simple y poco a poco, con disimulo, se va volviendo más complejo. *** Se dice: el logaritmo es la inversa de la exponenciación, ¿pero qué se quiere decir con esto? Por lo pronto agregaría: cuando la incógnita de la exponenciación es el exponente (¿o será redundante esta aclración?). Como sea, supongamos que tenemos: \[ f_1(x) = b^x = y \] Donde \(b\) es simplemente una constante. Y tenemos una segunda función que toma el input \(y\) de la función anterior, y se define como: \[f_2(y) = \log_b(y) \] Entonces: \[f_2(y) = x\] Es decir, si al output de la primera función le aplico la segunda función, obtengo el input de la primera función. O en términos más elegantes: \(f_2(f_1(x)) = x\). Del mismo modo, la división es la inversa de la multiplicación: \[f_1(x) = b \times x = y \] Entonces: \[f_2(y) = f_2(f_1(x)) = \frac{y}{b} = x\] Me gusta la notación recursiva, lo vuelve...