Auto-encodeur

Plus formellement, un auto-encodeur se compose toujours de deux parties, l'encodeur et le décodeur, qui peuvent être définies comme des transitions ${\displaystyle \phi }$ et ${\displaystyle \psi }$, telles que :

${\displaystyle \phi$ :{\mathcal {X}}\rightarrow {\mathcal {F}}}

${\displaystyle \psi$ :{\mathcal {F}}\rightarrow {\mathcal {X}}}

${\displaystyle \phi ,\psi =\arg \min _{\phi ,\psi }\|X-(\psi \circ \phi )X\|^{2}}$

où ${\displaystyle {\mathcal {X}}=\mathbb {R} ^{d}}$ est l'espace où sont ${\displaystyle X}$ et ${\displaystyle X'}$, et où ${\displaystyle {\mathcal {F}}=\mathbb {R} ^{p}}$ est l'espace où est le code ${\displaystyle \mathbf {z} }$.

Généralement, l'espace caractéristique ${\displaystyle {\mathcal {F}}}$ possède une dimension inférieure à celui de l'espace d'entrée ${\displaystyle {\mathcal {X}}}$. Ainsi le vecteur caractéristique ${\displaystyle \phi (x)}$ peut être considéré comme une représentation compressée de ${\displaystyle x}$ . Si les couches cachées possèdent une taille plus grandes que celle de la couche d'entrée, l'auto-encodeur peut potentiellement apprendre la fonction identité et devenir sans intérêt. Toutefois, des résultats expérimentaux ont montré que dans ce genre de cas, l'auto-encodeur pouvait malgré tout apprendre des caractéristiques utiles[2]^:19.

Décrivons l'architecture lorsqu'il n'y a qu'une seule couche cachée. L'étape d'encodage prend l'entrée ${\displaystyle \mathbf {x} \in {\mathcal {X}}}$ et l'associe au code ${\displaystyle \mathbf {z} \in {\mathcal {F}}}$ par la relation :

${\displaystyle \mathbf {z} =\sigma (\mathbf {Wx} +\mathbf {b} )}$

où ${\displaystyle \sigma }$ est une fonction d'activation, (e.g. la sigmoïde ou la fonction ReLU), ${\displaystyle \mathbf {W} }$ une matrice de poids et ${\displaystyle \mathbf {b} }$ un vecteur de biais.

Ensuite, l'étape de décodage associe ${\displaystyle \mathbf {z} }$ à la reconstruction ${\displaystyle \mathbf {x'} }$ de forme identique à ${\displaystyle \mathbf {x} }$ :

${\displaystyle \mathbf {x'} =\sigma '(\mathbf {W'z} +\mathbf {b'} )}$

où les ${\displaystyle \mathbf {\sigma '} ,\mathbf {W'} ,{\text{ et }}\mathbf {b'} }$ du décodeur peuvent différer ou non des ${\displaystyle \mathbf {\sigma } ,\mathbf {W} ,{\text{ et }}\mathbf {b} }$ de l'encodeur, selon la conception de l'auto-encodeur.

Un auto-encodeur est aussi entrainé pour minimiser l'erreur de reconstruction, e.g., erreur quadratique :

${\displaystyle {\mathcal {L}}(\mathbf {x} ,\mathbf {x'} )=\|\mathbf {x} -\mathbf {x'} \|^{2}=\|\mathbf {x} -\sigma '(\mathbf {W'} (\sigma (\mathbf {Wx} +\mathbf {b} ))+\mathbf {b'} )\|^{2}}$

où ${\displaystyle \mathbf {x} }$ est généralement la moyenne d'un ensemble de données d'apprentissage.

Différentes techniques existent pour empêcher un auto-encodeur d'apprendre la fonction identité et améliorer sa capacité à apprendre des représentations plus riches  :

Un auto-encodeur débruiteur prend une entrée partiellement corrompue et apprend à récupérer l'entrée originale débruitée. Cette technique a été introduite avec une approche spécifique d'une bonne représentation[7]. Une bonne représentation est celle qui peut être obtenue de manière robuste à partir d'une entrée corrompue et qui sera utile pour récupérer l'entrée débruitée correspondante. Cette définition contient les hypothèses implicites suivantes :

• Les représentations de haut-niveau sont relativement stables et robustes à la corruption de l'entrée;
• Il est nécessaire d'extraire des caractéristiques qui soient utiles pour la représentation de la distribution d'entrée.

Pour entrainer un auto-encodeur à débruiter des données, il est nécessaire d'effectuer un mappage stochastique préliminaire ${\displaystyle \mathbf {x} \rightarrow \mathbf {\tilde {x}} }$ afin de corrompre les données et d'utiliser ${\displaystyle \mathbf {\tilde {x}} }$ comme entrée d'un auto-encodeur classique, avec comme seule exception de calculer la perte pour l'entrée initiale ${\displaystyle {\mathcal {L}}(\mathbf {x} ,\mathbf {{\tilde {x}}'} )}$ au lieu de ${\displaystyle {\mathcal {L}}(\mathbf {\tilde {x}} ,\mathbf {{\tilde {x}}'} )}$.

En imposant la parcimonie sur les unités cachées durant l'apprentissage (tout en ayant un plus grand nombre d'unités cachées que d'entrées), un auto-encodeur peut apprendre des structures utiles dans les données d'entrées. Cela permet de représenter de façon éparse les entrées, ces représentations pouvant être utilisées pour le pré-entrainement de tâches de classification.

La parcimonie peut être obtenue en ajoutant des termes additionnels à la fonction objectif durant l'apprentissage (en comparant la distribution de probabilité des couches cachées avec une valeur faible désirée)[8], ou en réduisant manuellement à 0 toutes sauf les quelques activations d'unités cachées les plus fortes (appelé auto-encodeur k-épars)[9].

Le modèle d'auto-encodeur variationnel hérite de l'architecture de l'auto-encodeur, mais fait des hypothèses fortes concernant la distribution des variables latentes. Il utilise l'approche variationnelle pour l'apprentissage de la représentation latente, ce qui se traduit par une composante de perte additionnelle et un algorithme d'apprentissage spécifique fondé sur un estimateur bayésien variationnel du gradient stochastique[5]. Il suppose que les données sont produites par un modèle graphique orienté ${\displaystyle p(\mathbf {x} |\mathbf {z} )}$ et que l'encodeur apprend une approximation ${\displaystyle q_{\phi }(\mathbf {z} |\mathbf {x} )}$ de la distribution a posteriori ${\displaystyle p_{\theta }(\mathbf {x} |\mathbf {z} )}$ où ${\displaystyle \mathbf {\phi } }$ et ${\displaystyle \mathbf {\theta } }$ désignent respectivement les paramètres de l'encodeur (modèle de reconnaissance) et du décodeur (modèle génératif). L'objectif de l'auto-encodeur, dans ce cas ci, a la forme suivante :

${\displaystyle {\mathcal {L}}(\mathbf {\phi } ,\mathbf {\theta } ,\mathbf {x} )=D_{KL}(q_{\phi }(\mathbf {z} |\mathbf {x} )||p_{\theta }(\mathbf {z} ))-\mathbb {E} _{q_{\phi }(\mathbf {z} |\mathbf {x} )}{\big (}\log p_{\theta }(\mathbf {x} |\mathbf {z} ){\big )}}$

${\displaystyle D_{KL}}$ note la divergence de Kullback-Leibler. L'a priori sur les variables latentes est habituellement défini comme une gaussienne multivariée isotrope centrée ${\displaystyle p_{\theta }(\mathbf {z} )={\mathcal {N}}(\mathbf {0,I} )}$. Des configurations alternatives sont possibles[10].

L'auto-encodeur contractif ajoute une régularisation explicite dans sa fonction objectif qui force le modèle à apprendre une fonction robuste aux légères variations des valeurs d'entrées. Cette régularisation correspond à la norme de Frobenius de la matrice Jacobienne des activations de l'encodeur par rapport à l'entrée. La fonction objectif finale à la forme suivante :

${\displaystyle {\mathcal {L}}(\mathbf {x} ,\mathbf {x'} )+\lambda \sum _{i}||\nabla _{x}h_{i}||^{2}}$

Si des activations linéaires sont utilisées, ou uniquement une seule couche cachée sigmoïde, la solution optimale d'un auto-encodeur est apparentée à une analyse en composantes principales[11].