Skip to main content

Vocabulaire du traitement automatique des langues

Search from vocabulary

  • Help
align
annotate
download

Concept information

... > méthodes et outils de TAL > intelligence artificielle > apprentissage automatique > modèle d'apprentissage automatique > modèle de réseaux de neurones > neurone > couche > mécanisme d'attention > tête d'attention

Preferred term

tête d'attention  

Definition

  • Composant individuel d'un mécanisme d'attention multi-tête qui se concentre sur des parties spécifiques d'un texte d'entrée, aidant le modèle de langue à comprendre quels mots sont les plus importants pour répondre à une problématique particulière, comme la compréhension du sens du texte ou la réponse à une question.

Broader concept

Example

  • Ce mécanisme d'auto-attention correspond à une tête d'attention dans un modèle transformeur (Vaswani et al. 2017) en particulier dans la partie encodeur qui nous intéresse. (Fosse, Nguyen, Sébillot & Gravier, 2023)
  • Par exemple les parties du corps humain sont souvent utilisées pour désigner une partie d'un objet selon sa position (tête d'attention). (Lerner & Yvon, 2024)

In other languages

URI

http://data.loterre.fr/ark:/67375/8LP-X3T8021Q-6

Download this concept:

RDF/XML TURTLE JSON-LD Last modified 5/13/24