WBA

文書の過去の版を表示しています。

LSTM

LSTM は直訳すると「長い短期記憶」となります。長い？短い？どっちなの？と迷いますが，短期記憶とはすぐに忘却してしまうようなその場限りの記憶です。短期記憶の影響を長期に渡って保持する能力を持つリカレントネットワークモデルです。２０１０年代になってから，このリカレントネットワークモデルの学習時に必要となる実用的な手法の提案がなされ，現実的な問題を解くことが可能になりました。音声認識，機械翻訳，ロボット制御，手書き文字生成，など応用範囲が広がりました。

LSTM はメモリセルと呼ばれる記憶素子と３つのゲート（門）から構成されています。３つもゲートには名前がついていて，入力ゲート，出力ゲート，忘却ゲートと言います。セルへの入力は通常のニューラルネットワークの入力です。この他に３つのゲートにも入力が加わります。ですから入力と結びついている結合係数が通常のネットワークの４倍必要になります。セルへの入力＋３つのゲートへの入力で４倍です。３つのゲートへの入力はゲートの開平のために使われます。