: NLP Vocabulary: mécanisme d'attention

... > modèle d'apprentissage automatique > modèle de réseaux de neurones > neurone > couche > mécanisme d'attention

mécanisme d'attention

Capacité d'apprendre à se concentrer sur des parties spécifiques de données complexes, par exemple une partie d'une image ou certains mots dans une phrase. Des mécanismes d'attention peuvent être incorporés dans les architectures de traitement de la langue naturelle et de reconnaissance d'images pour aider un réseau de neurones artificiels à apprendre sur quoi "se concentrer" lorsqu'il fait des prédictions. (Data Franca)

Afin d'exploiter pleinement la séquence complète de représentations fournie par l'encodeur, l'architecture de base est complétée par un mécanisme d'attention, notamment l'attention dite générale (Luong et al.) (Cruys, 2019)
Au contraire, le mécanisme d'attention permet de sélectionner dans l'AD au complet l'information à considérer spécifiquement à l'étape suivante, mais perd la progression dans l'information déjà traitée. (Riou, Jabaian, Huet & Lefèvre, 2017)
Aussi, le mot i est simplement représenté par le vecteur contextualisé qui lui correspond, le mécanisme d'attention à la tête étant naturellement abandonné (équation 2). (Gliosca & Amsili, 2019)
Le mécanisme d'attention permet au décodeur de consulter l'ensemble des états cachés calculés par l'encodeur ; (Cruys, 2019)

http://data.loterre.fr/ark:/67375/8LP-CQ937GB8-K

RDF/XML TURTLE JSON-LD Last modified 5/13/24

Loterre