: NLP Vocabulary: GPT

... > modèle > modèle statistique > modèle de fondation > modèle de langue > GPT

... > statistiques > modèle statistique > modèle de fondation > modèle de langue > GPT

GPT

Modèle de langue basé sur les transformeurs et l'apprentissage non supervisé. (Loterre)

Nous utilisons une adaptation du modèle GPT (Generative Pre-trained Transformer développé par OpenAI) à un corpus français et un dataset composé de pièces de théâtre de Molière pour l'entraînement afin de générer le dialogue entre l'humain et l'agent. (Grosjean, Pappa, Roziere & Cazenave, 2022)

Comme GPT BERT réutilise une partie de l'architecture Transformer mais pour obtenir un modèle bidirectionnel BERT utilise les encodeurs de Transformer et non pas les décodeurs. (Cécillon, Dufour & Labatut, 2021)
GPT empile douze couches de décodeurs qui sont entraînés à prédire le prochain mot d'une séquence. (Cécillon, Dufour & Labatut, 2021)
GPT est particulièrement efficace pour les tâches de génération de texte. (Simoulin & Crabbé, 2021)
L'architecture de GPT s'appuie sur des transformers et présente beaucoup de similarités avec BERT. (Simoulin & Crabbé, 2021)
Nous proposons une adaptation en français du fameux modèle Generative Pre-trained Transformer (GPT). (Simoulin & Crabbé, 2021)

http://data.loterre.fr/ark:/67375/8LP-R4SB21W1-V

RDF/XML TURTLE JSON-LD Last modified 10/23/24

Loterre