De Decisión

<aside> 💡 Pueden ser de clasificación o regresión.

</aside>

ID3

La salida del algoritmo ID3 se representa como un grafo en forma de árbol, cuyos componentes son:

• Nodo raíz
• Nodos hoja (o terminales) que contienen un valor de clasificación (la respuesta)
• Los demás nodos representan preguntas con respecto al valor de uno de los atributos

C4.5

Es una mejora del ID3: soporta variables numéricas/rangos continuos y datos faltantes. Algoritmo de poda.

• Valores faltantes: Los marca con “?”. Los valores faltantes de los atributos simplemente no se usan en los cálculos de la ganancia y la entropía (Técnicas para construir árboles de decisión).

• Rango continuo-variables numéricas: Se convierten en campos booleanos.

  Si un atributo A (ej: temperatura), tiene un rango continuo de valores el algoritmo puede, dinámicamente crear un campo Booleano tal que si A < C Ac = TRUE, sino Ac = FALSE**.**

  Vamos a cortar el rango de forma que C ****nos quede con la mayor ganancia de información.

• Poda: Pasos:

  1. Generar un árbol normalmente.
  2. Analizar recursivamente, y desde las hojas, qué preguntas (nodos interiores) se pueden eliminar sin que se incremente el error (Casos bien clasificados / Casos Totales) de clasificación con el conjunto de test:
     1. Se elimina un nodo interior cuyos sucesores son todos nodos hoja.
     2. Se vuelve a calcular el error que se comete con este nuevo árbol sobre el conjunto de test.
     3. Si este error es menor que el error anterior, entonces se elimina el nodo y todos sus sucesores(hojas).

Técnicas para construir árboles de decisión

• Entropía de la información:

  Es la medida de la impureza o aleatoriedad en los datos**.**

  $Entropía = \sum_{i=1}^n{-p_ilog_2p_i}$ donde $p_i$ es la probabilidad de que ocurra cada valor $i.$

  • Para una muestra homogénea la entropía es igual a 0
  • La máxima entropía viene dada por Log2(n), n son los posibles valores de salida.
  • Si n = 2 (valores binarios TRUE o FALSE) entonces, la máxima entropía es 1. O sea es la máxima incertidumbre.

En los puntos con y=0 la muestra es totalmente homogénea por lo que la entropía es 0 y en el máximo de la parábola está 50/50 por lo que la entropía es 1.

La entropía nos sirve para calcular la ganancia de información.