Passer au contenu principal

Vocabulaire du traitement automatique des langues

Choisissez le vocabulaire dans lequel chercher

  • Aide
aligner
annoter
télécharger

Concept information

... > méthodes et outils de TAL > intelligence artificielle > apprentissage automatique > modèle d'apprentissage automatique > modèle de réseaux de neurones > neurone > couche > mécanisme d'attention > tête d'attention

Terme préférentiel

tête d'attention  

Définition

  • Composant individuel d'un mécanisme d'attention multi-tête qui se concentre sur des parties spécifiques d'un texte d'entrée, aidant le modèle de langue à comprendre quels mots sont les plus importants pour répondre à une problématique particulière, comme la compréhension du sens du texte ou la réponse à une question.

Concept générique

Exemple

  • Ce mécanisme d'auto-attention correspond à une tête d'attention dans un modèle transformeur (Vaswani et al. 2017) en particulier dans la partie encodeur qui nous intéresse. (Fosse, Nguyen, Sébillot & Gravier, 2023)
  • Par exemple les parties du corps humain sont souvent utilisées pour désigner une partie d'un objet selon sa position (tête d'attention). (Lerner & Yvon, 2024)

Traductions

URI

http://data.loterre.fr/ark:/67375/8LP-X3T8021Q-6

Télécharger ce concept :

RDF/XML TURTLE JSON-LD Dernière modification le 13/05/2024