差分
このページの2つのバージョン間の差分を表示します。
| 両方とも前のリビジョン 前のリビジョン 次のリビジョン | 前のリビジョン 次のリビジョン 両方とも次のリビジョン | ||
|
機械学習:lstm代替案 [2016/03/11 11:51] sakaimiho [従来のRNNモデルの課題] |
機械学習:lstm代替案 [2016/03/11 11:51] sakaimiho |
||
|---|---|---|---|
| 行 3: | 行 3: | ||
| LSTMは、リカレントニューラルネットワークのアーキテクチャーをもとに、1997年に Sepp Hochreiter and Jürgen Schmidhuberによって提唱されたモデルです。リカレントニューラルネットワークと同様に、ニューラルネットワークでは扱いが難しかった時系列データ（文章、音声、映像）に対して有効な手法です。[[再帰型ニューラルネットワーク|リカレントネットワーク]]では、長期的な依存関係を学習できない問題を回避しています。 | LSTMは、リカレントニューラルネットワークのアーキテクチャーをもとに、1997年に Sepp Hochreiter and Jürgen Schmidhuberによって提唱されたモデルです。リカレントニューラルネットワークと同様に、ニューラルネットワークでは扱いが難しかった時系列データ（文章、音声、映像）に対して有効な手法です。[[再帰型ニューラルネットワーク|リカレントネットワーク]]では、長期的な依存関係を学習できない問題を回避しています。 | ||
| - | ==== 適用領域 ==== | + | ==== LSTMの適用領域 ==== |
| * 音声認識 | * 音声認識 | ||
| * 文章生成 | * 文章生成 | ||
| * 音楽生成 | * 音楽生成 | ||
| * 映像解析 | * 映像解析 | ||
| - | ==== LSTMアーキテクチャーの説明 | + | ==== LSTMアーキテクチャー ==== |
| {{ : | {{ : | ||
| 図で情報は下から上へと流れます。中央にセルと書いてある部分にリカレント結合（再帰結合）があります | 図で情報は下から上へと流れます。中央にセルと書いてある部分にリカレント結合（再帰結合）があります | ||
| 行 28: | 行 28: | ||
| 図では１つの LSTMブロックだけが描かれています。LSTMブロックが複数集まってLSTM層を構成します。LSTM層を多層化するとディープLSTMになります。多層のLSTMでは，時間的空間的に異なる抽象化が表象されると考えられます。 | 図では１つの LSTMブロックだけが描かれています。LSTMブロックが複数集まってLSTM層を構成します。LSTM層を多層化するとディープLSTMになります。多層のLSTMでは，時間的空間的に異なる抽象化が表象されると考えられます。 | ||
| - | ==== 学習 ==== | + | ==== 学習方法 |