機械学習:lstm代替案

差分

このページの2つのバージョン間の差分を表示します。

この比較画面にリンクする

両方とも前のリビジョン 前のリビジョン
次のリビジョン
前のリビジョン
機械学習:lstm代替案 [2016/03/11 11:51]
sakaimiho [従来のRNNモデルの課題]
機械学習:lstm代替案 [2016/03/22 13:37] (現在)
n.arakawa [LSTMアーキテクチャー]
行 1: 行 1:
 ====== LSTMとは ====== ====== LSTMとは ======
 ===== 概要 ===== ===== 概要 =====
-LSTMは、リカレントニューラルネットワークのアーキテクチャーをもとに、1997年に Sepp Hochreiter and Jürgen Schmidhuberによって提唱されたモデルです。リカレントニューラルネットワークと同様に、ニューラルネットワークでは扱いが難しかった時系列データ(文章、音声、映像)に対して有効な手法です。[[再帰型ニューラルネットワーク|リカレントネットワーク]]では長期的な依存関係を学習できない問題を回避しています。 +LSTMは、1997年に Sepp Hochreiter と Jürgen Schmidhuberによって提唱された[[機械学習:再帰型ニューラルネットワーク|リカレントニューラルネットワーク]]のアーキテクチャーです。[[機械学習:単純再帰型ニューラルネットワーク|単純なリカレントニューラルネットワーク]]と同様に、ニューラルネットワークでは扱いが難しかった時系列データ(文章、音声、映像)に対して有効な手法です。単純なリカレントネットワークでは長期的な依存関係を学習できない問題を回避しています。 
- +==== LSTMの適用領域 ====
-==== 適用領域 ====+
   * 音声認識   * 音声認識
   * 文章生成   * 文章生成
   * 音楽生成   * 音楽生成
   * 映像解析   * 映像解析
-==== LSTMアーキテクチャーの説明 ====+==== LSTMアーキテクチャー ====
 {{ :機械学習:2015greff_lstm_ja.png?300 |}} {{ :機械学習:2015greff_lstm_ja.png?300 |}}
 図で情報は下から上へと流れます。中央にセルと書いてある部分にリカレント結合(再帰結合)があります 図で情報は下から上へと流れます。中央にセルと書いてある部分にリカレント結合(再帰結合)があります
行 24: 行 23:
 もう一つの注意点として実線と点線の区別に注目してください。実線は即時的に働く流れです。一方点線は時間遅延を表します。次の時刻に影響を及ぼすことを示しています。 もう一つの注意点として実線と点線の区別に注目してください。実線は即時的に働く流れです。一方点線は時間遅延を表します。次の時刻に影響を及ぼすことを示しています。
  
-最後に後回しにした青線で描かれたピープホールですが,セルの内容が直接ゲートを制御するために導入されました。セル自身がゲートを制御することで,より積極的にゲートの開の効率向上を目指しています。+最後に後回しにした青線で描かれたピープホールですが,セルの内容が直接ゲートを制御するために導入されました。セル自身がゲートを制御することで,より積極的にゲートの開の効率向上を目指しています。
  
 図では1つの LSTMブロックだけが描かれています。LSTMブロックが複数集まってLSTM層を構成します。LSTM層を多層化するとディープLSTMになります。多層のLSTMでは,時間的空間的に異なる抽象化が表象されると考えられます。 図では1つの LSTMブロックだけが描かれています。LSTMブロックが複数集まってLSTM層を構成します。LSTM層を多層化するとディープLSTMになります。多層のLSTMでは,時間的空間的に異なる抽象化が表象されると考えられます。
  
-==== 学習 ====+==== 学習方法 ====
  
  
  • 機械学習/lstm代替案.1457664679.txt.gz
  • 最終更新: 2016/03/11 11:51
  • by sakaimiho