Rétropropagation du gradient

Introduction

Le schéma ci-dessus illustre un réseau de neurones sans couche cachée qui permet par exemple de résoudre un problème de régression linéaire. Chaque point $X_p$ de dimension $N$ est transformé en un point $R0_p$ de dimension $M0$. Pour apprendre les paramètres du réseau (i.e., les $M0$ vecteurs $V0$ et les $M0$ constantes $C0$), on utilise le jeu de données d'apprentissage formé des vecteurs $Y_p$ qui indiquent les valeurs associées aux points $X_p$. On veut que le réseau transforme le point $X_p$ en un vecteur $R0_p$ proche du vecteur $Y_p$. On cherche à minimiser la fonction $g(R0) = \frac{1}{P}\sum_p h(R0_p)$, avec $h(R0_p) = (R0_p - Y_p)^2$.

Pour calculer les valeurs des paramètres qui minimisent $g$, on propose de les initialiser aléatoirement. Puis, pour chaque paramètre, on calcule la dérivée partielle de $g$ afin de déterminer comment modifier ce paramètre pour aller dans le sens de minimiser $g$. C'est l'algorithme du gradient.

Régression linéaire

Mise à jour des paramètres $C0$

Ainsi, le programme ci-dessous réalise la mise à jour du paramètre $C0$ pour une itération de l'algorithme du gradient :

 
DC0 =: 2 * (R0 - Y)

$DC0$ est de dimension $(P,M0)$.

Mise à jour des paramètres $V0$

 
DV0 =: X cp DC0      NB. cp stands for Cartesian Product

$DV0$ est de dimension $(P,N,M0)$.

Réseau de neurones multicouches

Soit une fonction non linéaire $a$ (par exemple : $a(x) = max(0,x)$), dite fonction d'activation.

Un réseau de neurones à deux couches cachées est décrit par les équations :

Mise à jour des paramètres $C0$

 
DC0 =: 2 * (R0 - Y)

$DC0$ est de dimension $(P,M0)$.

Mise à jour des paramètres $V0$

 
DV0 =: A1 cp DC0

$DV0$ est de dimension $(P,M1,M0)$.

Mise à jour des paramètres $C1$

 
DA1 =: a'(R1)

$DA1$ est de dimension $(P,M1)$.

 
DC1 =: (V0 mp2 DC0) * DA1

$DC1$ est de dimension $(P,M1)$.

Mise à jour des paramètres $V1$

 
DV1 =: A2 cp DC1

$DV1$ est de dimension $(P,M2,M1)$.

La mise à jour des paramètres restants suit le même schéma.