<aside> 📢 Muchos estimadores mediocres promediados pueden ser muy buenos
</aside>
Definiciones previas:
$ErrTotal(x)=Bias^2+Varianza+Error Irreducible$
No se puede reducir, independientemente de qué algoritmo se usa. También se le conoce como ruido y, por lo general, proviene por factores como variables desconocidas que influyen en el mapeo de las variables de entrada a la variable de salida, un conjunto de caracterÃsticas incompleto o un problema mal enmarcado.
El error debido al Bias de un modelo es simplemente la diferencia entre el valor esperado del estimador (es decir, la predicción media del modelo) y el valor real.
Un bias muy alto significa un modelo underfitteado → produce un error alto en todas las muestras: entrenamiento, validación y test.
Es cuánto varÃa la predicción según los datos que utilicemos para el entrenamiento.
Un modelo con varianza baja indica que cambiar los datos de entrenamiento produce cambios pequeños en la estimación.
Un modelo con varianza alta quiere decir que pequeños cambios en el dataset conlleva a grandes cambios en el output (overfitting).
