Concept information
Preferred term
attention croisée
Definition
- Mécanisme d'attention utilisé dans les modèles basés sur des transformeurs qui se concentre simultanément sur différentes parties d'une séquence d'entrée lors de la génération de la sortie.
Broader concept
Example
- Deux encodeurs LSTM (couche de contextualisation) sont liés par une couche d'attention croisée et contribuent à une couche de décision pour réaliser la tâche de classification finale pour une paire de phrases. (Hau Nguyen, Gravier & Sébillot, 2022)
In other languages
-
English
-
cross-attention mechanism
URI
http://data.loterre.fr/ark:/67375/8LP-F3BF19DC-2
{{label}}
{{#each values }} {{! loop through ConceptPropertyValue objects }}
{{#if prefLabel }}
{{/if}}
{{/each}}
{{#if notation }}{{ notation }} {{/if}}{{ prefLabel }}
{{#ifDifferentLabelLang lang }} ({{ lang }}){{/ifDifferentLabelLang}}
{{#if vocabName }}
{{ vocabName }}
{{/if}}