Gaz neuronal

Le gaz neuronal[1]^,[2] est un réseau de neurones artificiel, inspiré des cartes auto-adaptatives, et introduites en 1991 par Thomas Martinetz et Klaus Schulten[3]. Le gaz neuronal est un algorithme simple pour trouver une représentation optimale de données à partir de vecteurs principaux. La méthode fut appelée "gaz neuronal" parce que l'évolution des vecteurs principaux durant l'étape d'apprentissage fait penser à un gaz qui occupe un espace de façon uniforme.

Cet algorithme est appliqué à la compression de données ou à la quantification vectorielle, par exemple en reconnaissance des langues naturelles[4], en traitement des images[5] ou à la reconnaissance de motifs. En tant qu'alternative robuste et convergente à l'algorithme K-moyennes, il peut être utilisé pour le partitionnement de données[6].

Algorithme

Soit une distribution de probabilité P(x) sur des vecteurs x (les données), et un nombre fini de vecteurs principaux w_i, i=1, ..., N.

À chaque étape de temps t (discret), un vecteur d'entrée x est tiré aléatoirement selon la loi P, afin d'être présenté à l'algorithme. Ensuite, les vecteurs principaux sont classés du plus proche au plus lointain de ce vecteur x : i₀ sera l'indice du vecteur principal le plus proche de x, i₁ l'indice du second plus proche, etc, et i_N-1 représente l'indice du vecteur principal le plus éloigné de x. Enfin, chaque vecteur principal (k = 0, ..., N-1) est adapté selon la règle, dépendante de k, que voici :

w_{i_{k}}^{t+1}=w_{i_{k}}^{t}+\varepsilon \cdot e^{-k/\lambda }\cdot (x-w_{i_{k}}^{t})

avec ε le taux d'adaptation, et λ la taille du voisinage. Pour assurer la convergence, il est nécessaire que ε et λ soit décroissant en fonction de t (ie. décroisse quand t augmente). Après un nombre suffisant d'étapes d'adaptation, les vecteurs principaux recouvrent (et représentent) l'espace de données avec une erreur de représentation minimum (ou presque minimale).

L'étape d'adaptation présente dans l'algorithme de gaz neuronal peut être interprétée comme une descente de gradient d'une fonction de coût. En adaptant tous les vecteurs, et pas seulement le plus proche des vecteurs principaux, avec un taux d'adaptation inversement proportionnel à la distance avec le vecteur x, l'algorithme parvient à obtenir une convergence bien plus robuste que son alternative, l'algorithme des K-moyennes (même sa version en temps réel).

On peut remarquer que le modèle de gaz neuronal ne supprime jamais de nœud, mais n'en ajoute jamais non plus.

Voir aussi

Carte auto-adaptative
Machine à état liquide
Réseau neuronal artificiel

(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Neural_gas » (voir la liste des auteurs).

Lectures additionnelles

T. Martinetz, S. Berkovich, and K. Schulten. "Neural-gas" Network for Vector Quantization and its Application to Time-Series Prediction. IEEE-Transactions on Neural Networks, 4(4):558-569, 1993.
T. Martinetz and K. Schulten. Topology representing networks. Neural Networks, 7(3):507-522, 1994.

Références

Jean-Charles Lamirel, Zied Boulila , Maha Ghribi , Pascal Cuxac, Claire François (2010). « Un nouvel algorithme incrémental de gaz neuronal croissant basé sur l’étiquetage des clusters par maximisation de vraisemblance : application au clustering des gros corpus de données textuelles hétérogènes » .
Ingrid Falk, Acquisition de classes verbales pour le français, 2012 (lire en ligne) :
« La deuxième exploite un algorithme de gaz neuronal croissant basé sur l'étiquetage des clusters par maximisation de vraisemblance (IGNGF - Incremental Growing Neural Gas with Feature maximisation) »
Thomas Martinetz and Klaus Schulten (1991). « A "neural gas" network learns topologies » Artificial Neural Networks: 397–402 p..
(2000) « Competitive learning methods for efficient Vector Quantizations in a speech recognition environment » MICAI 2000: Advances in artificial intelligence : Mexican International Conference on Artificial Intelligence, Acapulco, Mexico, April 2000 : proceedings.
(2005) « Automatic landmarking of 2D medical shapes using the growing neural gas network » Computer vision for biomedical image applications: first international workshop, CVBIA 2005, Beijing, China, October 21, 2005 : proceedings (DOI:10.1007/11569541_22).
(2007) « Modification of the growing neural gas algorithm for cluster analysis » Progress in pattern recognition, image analysis and applications: 12th Iberoamerican Congress on Pattern Recognition, CIARP 2007, Viña del Mar-Valparaiso, Chile, November 13–16, 2007 ; proceedings: 684–693 p. (DOI:10.1007/978-3-540-76725-1_71).

Liens externes

DemoGNG est un applet Java illustrant les algorithmes de gaz neuronal, de gaz neuronal croissant, ainsi que les cartes auto-adaptative et d'autres méthodes liées à l'apprentissage efficace.
Algorithme de gaz neuronal.

Portail des probabilités et de la statistique
Portail de l'informatique théorique

Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.

[1] Jean-Charles Lamirel, Zied Boulila , Maha Ghribi , Pascal Cuxac, Claire François (2010). « Un nouvel algorithme incrémental de gaz neuronal croissant basé sur l’étiquetage des clusters par maximisation de vraisemblance : application au clustering des gros corpus de données textuelles hétérogènes » .

[2] Ingrid Falk, Acquisition de classes verbales pour le français, 2012 (lire en ligne) :
« La deuxième exploite un algorithme de gaz neuronal croissant basé sur l'étiquetage des clusters par maximisation de vraisemblance (IGNGF - Incremental Growing Neural Gas with Feature maximisation) »

[3] Thomas Martinetz and Klaus Schulten (1991). « A "neural gas" network learns topologies » Artificial Neural Networks: 397–402 p..

[4] (2000) « Competitive learning methods for efficient Vector Quantizations in a speech recognition environment » MICAI 2000: Advances in artificial intelligence : Mexican International Conference on Artificial Intelligence, Acapulco, Mexico, April 2000 : proceedings.

[5] (2005) « Automatic landmarking of 2D medical shapes using the growing neural gas network » Computer vision for biomedical image applications: first international workshop, CVBIA 2005, Beijing, China, October 21, 2005 : proceedings (DOI:10.1007/11569541_22).

[6] (2007) « Modification of the growing neural gas algorithm for cluster analysis » Progress in pattern recognition, image analysis and applications: 12th Iberoamerican Congress on Pattern Recognition, CIARP 2007, Viña del Mar-Valparaiso, Chile, November 13–16, 2007 ; proceedings: 684–693 p. (DOI:10.1007/978-3-540-76725-1_71).