Regresión logística
En la regresión logística lo que quiero es categorizar, clasificar. Es decir que dado una serie de puntos quiero encontrar una función (no es una recta en este caso) que separe los puntos en dos conjuntos. Y una vez que la encontré puedo determinar para cualquier valor X futuro, el conjunto al cual pertenecerá. Está asociado a problemas de probabilidad.
La función que se suele usar es una sigmoidea: $s(z) = \frac{1}{1 + e^{-z}}$ donde $z=\beta^Tx$ = $\beta_0 +\beta_1 x_1 + \beta_2 x_2 ...$
La salida de la función sigmoidea es continua entre 0 y 1, pudiéndose interpretar como probabilidad de pertenencia a la clase 1.
Necesitamos definir un umbral según el cual clasificar:
Si $s_\beta(x) < umbral$ entonces $x$ pertencerá a la clase 0 Si $s_\beta(x) >= umbral$ entonces $x$ pertencerá a la clase 1
Nuestro objetivo es determinar el vector de parámetros beta según el umbral elegido.
En el caso de utilizar Regresión Logística, y querer utilizar variables categóricas como variables predictoras, necesitamos realizar transformaciones sobre las mismas: las transformamos en tantas variables dummies (toman valores 0 o 1) como valores distintos pueda tomar.
Una persona quiere comprar una casa y
para ello necesita pedir un préstamo
hipotecario. Esta persona quiere saber si se
lo van a otorgar o no. Pero el único dato
que tiene es su puntaje crediticio,
el cual es de 720.
La única información que se tiene es una lista de puntajes crediticios de otras 1000 personas con el resultado del otorgamiento, es decir si el crédito fue otorgado: 1 o bien si no fue otorgado: 0.
Scatter plot de puntaje vs si el crédito fue o no otorgado
Usamos sigmoidea:
Acá podemos ver que la curva, para cada valor de X, asigna un valor entre 0 y 1 que indica la probabilidad de que el préstamo sea otorgado. Como la curva es creciente, la probabilidad será más alta cuanto el score esté más cerca de 850 y será más baja cuando el score esté cerca de 300. Encontrar los parámetros óptimos para esta curva consiste en construir un estimador de regresión logística.
KNN: K-nearest neighbors
<aside> 📢 Clasifica una observación fijándose de qué clase son sus $k$ vecinos más cercanos.
</aside>
Es sensible a conjuntos de datos no balanceados.
Ejemplo: tomamos $k$ = 9 → tenemos más vecinos azules que rojos por lo que la observación se clasificaría como azul. Sin embargo, gráficamente vemos que sería mas lógico que pertenezca a la clase roja.
Se clasifica a azul porque tiene mayor cantidad de observaciones.
Es sensible a outliers
La observación se terminó clasificando por la clase del conjunto atípico.
En scikit-learn, k= 5 por defecto
Ejemplo:
Dado $k$ = 9 tenemos 5 vecinos verdes y 4 vecinos amarillos:
La observación es verde.
