Abandon (réseaux neuronaux)

Le décrochage, ou abandon, est une technique de régularisation pour réduire le surajustement dans les réseaux de neurones. La technique évite des co-adaptations complexes sur les données de l'échantillon d'entraînement. C'est un moyen très efficace d'exécuter un moyennage du modèle de calcul avec des réseaux de neurones[1]. Le terme "décrochage" se réfère à une suppression temporaire de neurones (à la fois les neurones cachés et les neurones visibles) dans un réseau de neurones[2].

Le réseau neuronal se voit amputé d'une partie de ses neurones pendant la phase d'entrainement (leur valeur est estimée à 0) et ils sont par contre réactivés pour tester le nouveau modèle.

Références

(en) Geoffrey E. Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever et Ruslan R. Salakhutdinov « Improving neural networks by preventing co-adaptation of feature detectors », 2012.
(en) « Dropout: A Simple Way to Prevent Neural Networks from Overfitting », sur Jmlr.org (consulté le 26 juillet 2015)

Portail des neurosciences

Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.

[MyUser_Arxiv.org_July_26_2015c-1] (en) Geoffrey E. Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever et Ruslan R. Salakhutdinov « Improving neural networks by preventing co-adaptation of feature detectors », 2012.

[MyUser_Jmlr.org_July_26_2015c-2] (en) « Dropout: A Simple Way to Prevent Neural Networks from Overfitting », sur Jmlr.org (consulté le 26 juillet 2015)