機械学習:lstm代替案
差分
このページの2つのバージョン間の差分を表示します。
| 両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン | ||
| 機械学習:lstm代替案 [2016/03/11 11:51] – sakaimiho | 機械学習:lstm代替案 [2016/03/22 13:37] (現在) – [LSTMアーキテクチャー] n.arakawa | ||
|---|---|---|---|
| 行 1: | 行 1: | ||
| ====== LSTMとは ====== | ====== LSTMとは ====== | ||
| ===== 概要 ===== | ===== 概要 ===== | ||
| - | LSTMは、リカレントニューラルネットワークのアーキテクチャーをもとに、1997年に Sepp Hochreiter and Jürgen Schmidhuberによって提唱されたモデルです。リカレントニューラルネットワークと同様に、ニューラルネットワークでは扱いが難しかった時系列データ（文章、音声、映像）に対して有効な手法です。[[再帰型ニューラルネットワーク|リカレントネットワーク]]では、長期的な依存関係を学習できない問題を回避しています。 | + | LSTMは、1997年に Sepp Hochreiter と Jürgen Schmidhuberによって提唱された[[機械学習: |
| ==== LSTMの適用領域 ==== | ==== LSTMの適用領域 ==== | ||
| * 音声認識 | * 音声認識 | ||
| 行 24: | 行 23: | ||
| もう一つの注意点として実線と点線の区別に注目してください。実線は即時的に働く流れです。一方点線は時間遅延を表します。次の時刻に影響を及ぼすことを示しています。 | もう一つの注意点として実線と点線の区別に注目してください。実線は即時的に働く流れです。一方点線は時間遅延を表します。次の時刻に影響を及ぼすことを示しています。 | ||
| - | 最後に後回しにした青線で描かれたピープホールですが，セルの内容が直接ゲートを制御するために導入されました。セル自身がゲートを制御することで，より積極的にゲートの開平の効率向上を目指しています。 | + | 最後に後回しにした青線で描かれたピープホールですが，セルの内容が直接ゲートを制御するために導入されました。セル自身がゲートを制御することで，より積極的にゲートの開閉の効率向上を目指しています。 |
| 図では１つの LSTMブロックだけが描かれています。LSTMブロックが複数集まってLSTM層を構成します。LSTM層を多層化するとディープLSTMになります。多層のLSTMでは，時間的空間的に異なる抽象化が表象されると考えられます。 | 図では１つの LSTMブロックだけが描かれています。LSTMブロックが複数集まってLSTM層を構成します。LSTM層を多層化するとディープLSTMになります。多層のLSTMでは，時間的空間的に異なる抽象化が表象されると考えられます。 | ||
機械学習/lstm代替案.1457664711.txt.gz · 最終更新: 2016/03/11 11:51 by sakaimiho