BERT (modèle de langage)

En traitement automatique du langage naturel, BERT, acronyme anglais de Bidirectional Encoder Representations from Transformers, est un modèle de langage développé par Google en 2018. Cette méthode a permis d'améliorer significativement les performances en traitement automatique des langues[1].

Pour les articles homonymes, voir Bert.

BERT

Informations
Développé par Google Research (d)
Première version
Dépôt github.com/google-research/bert
Taille des données 110 000 000 paramètre et 340 000 000 paramètre
Type Modèle de langage
Modèle transformeur
Licence Licence Apache version 2.0

Usage dans des applications

Le , Google annonce officiellement que BERT est désormais intégré à certains de ses services pour les entreprises (Cloud TPU, bibliothèque pour TensorFlow)[2] et que son déploiement s'effectuera les jours suivants, d'abord pour la langue anglaise, puis les autres. La firme de Mountain View qualifie ce changement de modification la plus importante apportée à l'algorithme Google depuis 5 ans, date à laquelle RankBrain avait été lancé.

La méthode a été adaptée à la langue française en 2019 avec les modèles CamemBERT[3] et FlauBERT[4]. CamemBERT a été pré-entraîné sur un corpus de 138Go de texte et FlauBERT sur un corpus de 71Go de texte.

Bibliographie

Voir aussi

Articles connexes

Liens externes

Notes et références
  1. « Comment fonctionne BERT, la plus grande mise à jour au monde de l’algorithme de Google » (consulté le )
  2. (en) « Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing », sur Google AI Blog (consulté le )
  3. https://arxiv.org/abs/1911.03894
  4. https://arxiv.org/abs/1912.05372
  • Portail de l’informatique
  • Portail de Google
Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.