: NLP Vocabulary: rétropropagation

... > intelligence artificielle > apprentissage automatique > approche d'apprentissage automatique > apprentissage supervisé > rétropropagation

rétropropagation

Méthode en apprentissage supervisé qui consiste à mettre à jour les poids de chaque neurone de la dernière couche vers la première en estimant les différences entre les sorties et les sorties désirées pour à terme réduire les erreurs et améliorer la prédiction. (Adapté de Wikipédia)

L'algorithme de rétropropagation utilise la technique de la descente du gradient pour minimiser la distance entre la sortie désirée et la sortie obtenue par le réseau : (Ayech, Mahfouf & Zribi, 2006)
L'entropie croisée est utilisée pour la fonction de coût et Adadelta est utilisé pour la rétropropagation du gradient. (Thompson, Asher, Mulleer & Auguste, 2019)
Le perceptron utilisé comporte une seule couche cachée avec 15 neurones et exploite l'algorithme de rétropropagation. (Brun, Smaïli & Hat-on, 2003)
Par ailleurs, les cellules LSTM sont plus efficaces pour retenir les informations utiles lors de la rétropropagation du gradient, qui permet de corriger les différences entre les prédictions sortantes et celles désirées en calculant le gradient de l'erreur pour chaque neurone, de la dernière couche vers la première. (Dalloux, 2017)

http://data.loterre.fr/ark:/67375/8LP-M7H9HK89-Z

RDF/XML TURTLE JSON-LD Last modified 2/12/25

Loterre