A diferencia de la mayoría de los autocodificadores, que son modelos deterministas que codifican un único vector de variables latentes discretas, los VAES son modelos probabilísticos . Los VAEs codifican las variables latentes de los datos de entrenamiento no como un valor discreto fijo z, sino como un rango continuo de posibilidades expresado como una distribución de probabilidad p(z).

En las estadísticas bayesianas, este rango aprendido de posibilidades para la variable latente se denomina la distribución previa. En la inferencia variacional, el proceso generativo de síntesis de nuevos puntos de datos, esta distribución anterior se emplea para calcular la distribución posterior, p(z|x). En otras palabras, el valor de las variables observables x, dado un valor para la variable latente z.

Para cada atributo latente de los datos de entrenamiento, los VAEs codifican dos vectores latentes diferentes: un vector de medias, “μ”, y un vector de desviaciones estándar, “σ”. En esencia, estos dos vectores representan el rango de posibilidades para cada variable latente y la variación esperada dentro de cada rango de posibilidades.

Al muestrear aleatoriamente dentro de este rango de posibilidades codificadas, los VAEs pueden sintetizar nuevas muestras de datos que, aunque son únicas y originales en sí mismas, se asemejan a los datos de entrenamiento originales. Aunque en principio es relativamente intuitiva, esta metodología requiere adaptaciones adicionales a la metodología estándar de autocodificador para ponerla en práctica.

Para explicar esta capacidad de las VAEs, repasaremos los siguientes conceptos:

• Pérdida de reconstrucción
  
  
• Divergencia de Kullback-Leibler (KL)
  
  
• Límite inferior de evidencia (ELBO)
  
  
• El truco de la reparametrización
  

Al igual que todos los autocodificadores, los VAEs emplean la pérdida de reconstrucción, también llamada error de reconstrucción, como función de pérdida principal en el entrenamiento. El error de reconstrucción mide la diferencia (o "pérdida") entre los datos de entrada originales y la versión reconstruida de esos datos emitidos por el decodificador. Se pueden emplear múltiples algoritmos, incluyendo la pérdida de entropía cruzada o el error cuadrático medio (MSE), como función de pérdida de reconstrucción.

 Como ya se explicó, la arquitectura del autocodificador crea un cuello de botella que sólo permite que pase al decodificador un subconjunto de los datos de entrada originales. Al inicio del entrenamiento, que suele comenzar con una inicialización aleatoria de los parámetros del modelo, el codificador aún no aprendió qué partes de los datos debe ponderar más. Como resultado, inicialmente emitirá una representación latente subóptima, y el decodificador emitirá una reconstrucción bastante inexacta o incompleta de la entrada original.

Al minimizar el error de reconstrucción a través de alguna forma de descenso de gradiente sobre los parámetros de la red de codificadores y la red de decodificadores, los pesos del modelo de autocodificador se ajustarán de manera que se produzca una codificación más útil del espacio latente (y, por lo tanto, una reconstrucción más precisa). Matemáticamente, el objetivo de la función de pérdida de reconstrucción es optimizar p_θ(z|x), en la que θ representa los parámetros del modelo que imponen la reconstrucción precisa de la entrada x dada la variable latente z. 

La pérdida de reconstrucción por sí sola es suficiente para optimizar la mayoría de los autocodificadores, cuyo único objetivo es una representación comprimida de aprendizaje de los datos de entrada que conduce a una reconstrucción precisa.

Sin embargo, el objetivo de un autocodificador variacional no es reconstruir la entrada original; es generar nuevas muestras que se parezcan a la entrada original. Por esa razón, se necesita un término de optimización adicional.

Para los fines de la inferencia variacional—la generación de nuevas muestras por un modelo entrenado—la pérdida de reconstrucción por sí sola puede resultar en una codificación irregular del espacio latente que sobreajusta los datos de entrenamiento y no se generaliza bien a las nuevas muestras. Por lo tanto, los VAEs incorporan otro término de regularización: divergencia de Kullback-Leibler, o divergencia de KL.

Para generar imágenes, el decodificador toma muestras del espacio latente. El muestreo de los puntos específicos en el espacio latente que representan las entradas originales en los datos de entrenamiento replicaría esas entradas originales. Para generar nuevas imágenes, el VAE debe poder tomar muestras de cualquier lugar del espacio latente entre los puntos de datos originales. Para que esto sea posible, el espacio latente debe exhibir dos tipos de regularidad:

• Continuidad: Los puntos cercanos en el espacio latente deben producir contenido similar cuando se decodifican.
• Totalidad: Cualquier punto muestreado del espacio latente debe producir contenido significativo al decodificarse.

Una forma sencilla de implementar tanto la continuidad como la totalidad en el espacio latente es ayudar a garantizar que siga una distribución normal estándar, llamada distribución gaussiana . Pero minimizar solo la pérdida de reconstrucción no incentiva al modelo a organizar el espacio latente de ninguna manera en particular, porque el espacio "intermedio" no es relevante para la reconstrucción precisa de los puntos de datos originales. Aquí es donde entra en juego el término de regularización de divergencia de KL.

La divergencia de KL es una métrica empleada para comparar dos distribuciones de probabilidad. Minimizar la divergencia de KL entre la distribución aprendida de variables latentes y una distribución gaussiana simple cuyos valores oscilan entre 0 y 1 obliga a la codificación aprendida de variables latentes a seguir una distribución normal. Esto permite una interpolación fluida de cualquier punto en el espacio latente y, por lo tanto, la generación de nuevas imágenes.

Un obstáculo para usar la divergencia de KL para la inferencia variacional es que el denominador de la ecuación es intratable, lo que significa que tomaría una cantidad de tiempo teóricamente infinita para calcular directamente. Para solucionar ese problema e integrar ambas funciones de pérdida clave, los VAEs aproximan la minimización de la divergencia de KL maximizando en su lugar el límite inferior de evidencia (ELBO).

En terminología estadística, la “evidencia” en el “límite inferior de evidencia” se refiere a p(x), los datos de entrada observables que el VAE aparentemente es responsable de reconstruir. Esas variables observables en los datos de entrada son la “evidencia” de las variables latentes descubiertas por el autocodificador. El “límite inferior” se refiere a la estimación del peor caso para la verosimilitud logarítmica de una distribución dada. La verosimilitud real podría ser mayor que la de ELBO.  

En el contexto de los VAEs, el límite inferior de la evidencia se refiere a la estimación del peor caso de la probabilidad de que una distribución posterior específica—en otras palabras, una salida específica del autocodificador, condicionada tanto por el término de pérdida de divergencia de KL como por el término de pérdida de reconstrucción—se ajusta a la "evidencia" de los datos de entrenamiento. Por lo tanto, se puede hacer referencia al entrenamiento de un modelo para la inferencia variacional en términos de maximizar el ELBO.

Como se comentó, el objetivo de la inferencia variacional es generar nuevos datos en forma de variaciones aleatorias de los datos de entrenamiento x. A primera vista, esto es relativamente sencillo: use una función ƒ que seleccione un valor aleatorio para la variable latente z, que el decodificador puede usar para generar una reconstrucción aproximada de x.

Sin embargo, una propiedad inherente de la aleatoriedad es que no se puede optimizar. No existe el “mejor” azar; un vector de valores aleatorios, por definición, no tiene derivativo—es decir, ningún gradiente que exprese ningún patrón en los resultados del modelo resultante—y, por lo tanto, no se puede optimizar mediante retropropagación por el uso de cualquier forma de descenso de gradiente. Esto significaría que una neural network que utiliza el proceso de muestreo aleatorio precedente no puede aprender los parámetros óptimos para realizar su tarea.

Para sortear este obstáculo, los VAEs utilizan el truco de reparametrización. El truco de reparametrización introduce un nuevo parámetro, ε, que es un valor aleatorio seleccionado de la distribución normal entre 0 y 1.

Luego reparametriza la variable latente z como z = μx + εσx. En términos más simples, elige un valor para la variable latente z comenzando con la media de esa variable (representada por μ) y desplazándola por un múltiplo aleatorio (representado por ε) de una desviación estándar (σ). Condicionado por ese valor específico de z, el decodificador genera una nueva muestra.

Dado que el valor aleatorio ε no se deriva de los parámetros del modelo del autocodificador y no tiene relación con ellos, se puede ignorar durante la retropropagación. El modelo se actualiza mediante algún tipo de descenso de gradiente—la mayoría de las veces a través de Adam (el enlace se encuentra fuera de ibm.com), un algoritmo de optimización basado en el gradiente también desarrollado por Kingma—para maximizar la ELBO.