差分
このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン 前のリビジョン 次のリビジョン | 前のリビジョン 最新のリビジョン 両方とも次のリビジョン | ||
機械学習:lstm代替案 [2016/03/11 11:48] sakaimiho [従来のRNNモデルの課題] |
機械学習:lstm代替案 [2016/03/22 13:31] n.arakawa [概要] |
||
---|---|---|---|
行 1: | 行 1: | ||
====== LSTMとは ====== | ====== LSTMとは ====== | ||
- | |||
===== 概要 ===== | ===== 概要 ===== | ||
- | LSTMは、リカレントニューラルネットワークのアーキテクチャーをもとに、1997年に Sepp Hochreiter and Jürgen Schmidhuberによって提唱されたモデルです。リカレントニューラルネットワークと同様に、ニューラルネットワークでは扱いが難しかった時系列データ(文章、音声、映像)に対して有効な手法です。 | + | LSTMは、1997年に Sepp Hochreiter と Jürgen Schmidhuberによって提唱された[[機械学習: |
- | + | ==== LSTMの適用領域 ==== | |
- | ==== 従来のRNNモデルの課題 ==== | + | |
- | [[再帰型ニューラルネットワーク|リカレントネットワーク]]では、長期的な依存関係を学習できない問題があります。 | + | |
- | + | ||
- | ==== 適用領域 ==== | + | |
* 音声認識 | * 音声認識 | ||
* 文章生成 | * 文章生成 | ||
* 音楽生成 | * 音楽生成 | ||
* 映像解析 | * 映像解析 | ||
- | + | ==== LSTMアーキテクチャー ==== | |
- | ==== LSTMアーキテクチャーの説明 | + | |
{{ : | {{ : | ||
図で情報は下から上へと流れます。中央にセルと書いてある部分にリカレント結合(再帰結合)があります | 図で情報は下から上へと流れます。中央にセルと書いてある部分にリカレント結合(再帰結合)があります | ||
行 32: | 行 26: | ||
図では1つの LSTMブロックだけが描かれています。LSTMブロックが複数集まってLSTM層を構成します。LSTM層を多層化するとディープLSTMになります。多層のLSTMでは,時間的空間的に異なる抽象化が表象されると考えられます。 | 図では1つの LSTMブロックだけが描かれています。LSTMブロックが複数集まってLSTM層を構成します。LSTM層を多層化するとディープLSTMになります。多層のLSTMでは,時間的空間的に異なる抽象化が表象されると考えられます。 | ||
+ | |||
+ | ==== 学習方法 ==== | ||