ARQUITECTURA DE REDES CONVOLUCIONALES
Entrenar una red neuronal, no es nada sencillo. La utilización de redes convolucionales ha producido una mejora significativa en problemas de machine learning con imágenes. Sin embargo, generar una CNN útil para cada problema puede llegar a ser muy complicado. ¿Cuántas capas convolucionales debo utilizar? ¿Qué tamaño de filtro? Y así un enorme número de hiperparámetros.
Una forma de trabajar muy habitual en deep learning, especialmente si se quiere ser ágil en la generación de un modelo para un problema concreto, es utilizar arquitecturas de red "famosas", que se han convertido en estándares de facto. Muchas de estas redes han sido generadas y entrenadas por grandes grupos de investigación y empresas para competiciones de clasificación de imágenes.
Vamos a hacer un repaso por algunas de ellas:
Le-Net 5
En 1989, Yann LeCun et al. en Bell Labs aplicaron por primera vez el algoritmo de retropropagación a aplicaciones prácticas y creyeron que la capacidad de aprender la generalización de la red podría mejorarse enormemente. Combinó una red neuronal convolucional entrenada mediante algoritmos de retropropagación para leer números escritos a mano y la aplicó con éxito para *identificar números de códigos postales escritos a mano proporcionados por el Servicio Postal de EE. UU.
La red tiene una estructura muy sencilla parecida al estándar que hemos visto: convoluciones, pooling y fully connected. En realidad, está formado por 3 capas convolucionales, 2 pooling y 2 fully connected.
-7AlexNet
Uno de los pasos adelante más importantes en la evolución de las CNNs fue AlexNet, una red que en 2012 supuso una revolución al ganar la competición ImageNet. Pese a tener una estructura más o menos estándar, AlexNet introdujo varias novedades que permanecen en los modelos actuales, como la función de activación ReLU, la utilización de data augmentation o el uso de capas dropout para reducir el sobreaprendizaje.
Recomendado por LinkedIn
AlexNet fue diseñada por Alex Krizhevsky en colaboración con Ilya Sutskever y Geoffrey Hinton, quien fue el doctorado de Krizhevsky. asesor de la Universidad de Toronto.
AlexNet compitió en el Desafío de reconocimiento visual a gran escala de ImageNet el 30 de septiembre de 2012. La red logró un error entre los 5 primeros del 15,3%
VGG
Otra red muy famosa y que se ha convertido en estándar por su fácil interpretabilidad es la red VGG16.
VGG es una red neuronal convolucional propuesta por K. Simonyan y A. Zisserman, de la Universidad de Oxford, y adquirió notoriedad al ganar el Desafío de Reconocimiento Visual a Gran Escala de ImageNet (ILSVRC) en 2014. El modelo alcanzó una precisión del 92,7% en Imagenet, que es una de las puntuaciones más altas logradas.
La principal novedad respecto a AlexNet es la introducción de múltiples capas convolucionales, estandarizando el concepto de red muy profunda debido al elevado número de capas.
ResNet
La idea detrás de la red ResNet surge a partir de los éxitos de AlexNet y VGG16: si al añadir profundidad generamos mejores modelos, la clave está en añadir más y más. Sin embargo, pronto vieron que añadir un número arbitrario de capas no mejoraba los modelos, en parte debido al efecto conocido como "vanishing gradient".
Existen varias arquitecturas resnet, que varían en función del número de capas de profundidad de la red.