Passer au contenu principal

Vocabulaire du traitement automatique des langues

Choisissez le vocabulaire dans lequel chercher

  • Aide
aligner
annoter
télécharger

Concept information

... > méthodes et outils de TAL > modèle > modèle statistique > modèle de fondation > modèle de langue > BERT
... > méthodes et outils de TAL > statistiques > modèle statistique > modèle de fondation > modèle de langue > BERT

Terme préférentiel

BERT  

Définition

  • BERT est conçu pour pré-entraîner des représentations bidirectionnelles profondes à partir de textes non étiquetés en conditionnant conjointement les contextes gauche et droit dans toutes les couches. (Devlin et al., 2019)

Concept générique

Contexte(s) définitoire(s)

  • Conçue à l'origine pour les tâches de traduction automatique, BERT utilise l'auto-attention bidirectionnelle pour produire les encodages et produit des résultats qui dépassent l'état de l'art sur de nombreuses tâches de classification textuelle. (Badene, Thompson, Lorré & Asher, 2019)

Exemple

  • Alors qu'en principe, nous aurions pu utiliser n'importe quel modèle discriminatif, comme le suggère la littérature de Snorkel, BERT nous a donné de loin les meilleurs résultats sur la prédiction de l'attachement. (Badene, Thompson, Lorré & Asher, 2019)
  • C'est pourquoi nous avons également utilisé BERT comme modèle pour l'apprentissage supervisé de l'attachement afin de comparer ses résultats avec ceux de la méthode de supervision faible. (Badene, Thompson, Lorré & Asher, 2019)
  • Comme nous pouvons le voir dans la table 5, le corpus d'entraînement supplémentaire (WNGT) et encore plus l'utilisation de BERT en tant que vecteurs de mots ont tous les deux un impact majeur sur nos résultats et conduisent à des scores supérieurs à l'état de l'art. (Vial, Lecouteux & Schwab, 2019)
  • De plus, étant donné que les vecteurs retournés par BERT encodent directement les positions des mots, il n'est pas nécessaire d'avoir une récurrence au niveau des couches cachées. (Vial, Lecouteux & Schwab, 2019)
  • L'utilisation de BERT au lieu de ELMo ou GloVe améliore respectivement le score d'environ 3 et 5 points dans chaque expérience, et l'ajout du WNGT aux données de d'entraînement l'améliore encore d'environ 2 points. (Vial, Lecouteux & Schwab, 2019)

Traductions

  • BERT

    anglais

  • Bidirectional Encoder Representations from Transformers

URI

http://data.loterre.fr/ark:/67375/8LP-NBH731S9-G

Télécharger ce concept :

RDF/XML TURTLE JSON-LD Dernière modification le 26/04/2024