Una Revisión de los Fundamentos de Aprendizaje Profundo – El Modelo de Red Neuronal XOR

Abstract

Deep Learning mediante el seguimiento, en un simple modelo de Redes Neuronales de la función XOR, de las señales en forward y backward que fluyen a través de este modelo. Nuestro objetivo es alcanzar una comprensión más profunda de algunos conceptos sobresalientes de Deep Learning, lo que nos permitiría comprender su significado mientras el modelo de Redes Neuronales de la función XOR es entrenado por el algoritmo Retropropagación. El modelo elegido contiene una sola capa oculta con cuatro neuronas y una capa de salida con una neurona. Aunque este modelo no es una red neuronal profunda, su capa oculta lleva los conceptos suficientes de Deep Learning. Se utiliza la sigmoidea como función de activación en todas las neuronas. Se presenta una derivación de una versión simple del algoritmo Gradiente Descendente Estocástico, que se usa para minimizar el error de salida, y luego al retropropagarlo llegamos al algoritmo de retropropagación. Se presentan resultados numéricos, que muestran la convergencia del error de salida y el de un peso seleccionado y su análisis resume la comprensión de los conceptos fundamentales de Deep Learning.