Introducción

Usos

• Reconocimiento de imágenes
• Procesamiento de texto (Análisis de sentimiento, Parsing, Name Entity Recognition)
• Reconocimiento de objetos
• Reconocimiento del habla

Resuelven problemas de clasificación o de análisis de series de tiempo.

Problemas en entrenamiento de Redes Neuronales Profundas

• Tiempo de Entrenamiento: El entrenamiento de una red de aprendizaje profundo puede tardar meses, pero con modernos GPUs puede tardar menos de una semana.
• Desvanecimiento del Gradiente: Problema con backpropagation: llega un punto en el que el gradiente se vuelve tan chico que la actualización de los pesos es mínima.

Solución a los problemas

• Restricted Boltzmann Machines (RBM)

  No usa backpropagation, usa KL divergence, otro método.

  Ejemplo: ingreso 1,0,1 por la entrada y sale 2,3,4,5. Lo que quiero es que al ingresar por la salida 2,3,4,5 me devuelva 1,0,1.

  

  Red de 2 capas

• Deep Belief Net

  Una red Deep Belief Net es exactamente igual a un perceptrón multicapa, pero su método de entrenamiento es completamente diferente. Son una alternativa al backpropagation. Son un apilamiento de RBMs.

  

  

  • Cada capa aprende el input entero. (Distinto a las redes convolucionales)
  • Cuando el entrenamiento concluye, la red aprendió a detectar patrones inherentes en los datos, pero aún no sabemos nada acerca de esos patrones.
  • Así que hay una segunda parte de entrenamiento supervisado. Pero con una cantidad pequeña de datos.

Tanto las RBM como las Deep Belief son autoencoders:

• Autoencoders

  Son un mecanismo que aprenden a reproducir exactamente la información de entrada en la salida → entrada y salida igual número de neuronas.

  

  Utilidades:

  • Compresor
  • Reducción de la dimensionalidad
  • Eliminación de ruido

  

  eliminación de ruido

  

  Las capas ocultas son más “chicas”

  Se pueden entrenar con Backpropagation, pero utilizando una métrica particular llamada “Loss” (Cantidad de información que la red perdió al tratar de reconstruir el input).

• Convolutional Neural Nets

  ¿Qué es convolución? Es una manera de combinar dos funciones en una nueva.

  

  Acá tenemos convolución entre los píxeles de entrada y el kernel de convolución (son matrices de transformación, pesos):

  

  Surgen de replicar la corteza cerebral humana.

  • Tenemos como pequeñas linternas que cada una va a ver una parte de una imagen

    

    

    En realidad tenemos la siguiente red, donde cada entrada es un píxel:

  • Capas: Convolucional, RELU, Pooling, Fully connected.

    

    

    Todas las primeras neuronas tienen los mismos pesos en la capa convolucional.

    

    

    

    

    Así logra reducir la dimensionalidad

    

    Su entrada es la salida de la red convolucional. Es un perceptrón de dos capas.

  • Arquitectura

    Son múltiples capas convolucional, RELU y Pooling y al final una sóla FC.