Long Short-Term Memory

lstm

rnn

Data încărcării
May 17, 2022
Autor
Cristian Padurariu
Descriere

Rețea neuronală recurentă, specializată pentru procesarea de secvențe, dotată cu memorie internă și mecanisme de acces la memorie numite ecluze/porți (gates în engleză). Ecluzele reglementează cantitatea de informație care este stocată în memoria rețelei, cantitatea de informație care este ștearsă din memorie și - deoarece rețeaua se ocupă de procesarea de secvențe - cantitatea de informație utilă pentru procesarea următorului element din secvență. În cazul experimentului de segmentare în clauze (a se vedea exemplul din secțiunea Alte informații utile), codificatorul reține, pentru fiecare cuvânt din frază, informațiile necesare pentru a crea o reprezentare vectorială, iar în cazul decodorului - informația necesară pentru a genera următorul element din fraza care include și marcajele de sfârșit de segment. 

Tipul resursei: model. Scop: codificarea textului în puncte ale unui spațiu vectorial și decodificarea reprezentării vectoriale în text.

Autori: Sepp Hochreiter, Jürgen Schmidhuber.

 

Referințe
  • Hochreiter Sepp, Jürgen Schmidhuber (1997), Long short-term memory. Neural Computation, 9(8):1735–1780.