Passer au contenu principal

Vocabulaire du traitement automatique des langues

Choisissez le vocabulaire dans lequel chercher

  • Aide
aligner
annoter
télécharger

Concept information

... > méthodes et outils de TAL > modèle > modèle statistique > modèle de fondation > modèle de langue > GPT
... > méthodes et outils de TAL > statistiques > modèle statistique > modèle de fondation > modèle de langue > GPT

Terme préférentiel

GPT  

Définition

  • Modèle de langue basé sur les transformeurs et l'apprentissage non supervisé. (Loterre)

Concept générique

Synonyme(s)

  • transformeur génératif pré-entraîné

Contexte(s) définitoire(s)

  • Nous utilisons une adaptation du modèle GPT (Generative Pre-trained Transformer développé par OpenAI) à un corpus français et un dataset composé de pièces de théâtre de Molière pour l'entraînement afin de générer le dialogue entre l'humain et l'agent. (Grosjean, Pappa, Roziere & Cazenave, 2022)

Exemple

  • Comme GPT BERT réutilise une partie de l'architecture Transformer mais pour obtenir un modèle bidirectionnel BERT utilise les encodeurs de Transformer et non pas les décodeurs. (Cécillon, Dufour & Labatut, 2021)
  • GPT empile douze couches de décodeurs qui sont entraînés à prédire le prochain mot d'une séquence. (Cécillon, Dufour & Labatut, 2021)
  • GPT est particulièrement efficace pour les tâches de génération de texte. (Simoulin & Crabbé, 2021)
  • L'architecture de GPT s'appuie sur des transformers et présente beaucoup de similarités avec BERT. (Simoulin & Crabbé, 2021)
  • Nous proposons une adaptation en français du fameux modèle Generative Pre-trained Transformer (GPT). (Simoulin & Crabbé, 2021)

Traductions

  • GPT

    anglais

  • generative pre-trained transformer

URI

http://data.loterre.fr/ark:/67375/8LP-R4SB21W1-V

Télécharger ce concept :

RDF/XML TURTLE JSON-LD Dernière modification le 23/10/2024