差分

このページの2つのバージョン間の差分を表示します。

--- 機械学習:lstm [2016/02/23 05:49]
asakawa
+++ 機械学習:lstm [2016/12/02 14:41] (現在)
n.arakawa
@@ 行 1: / 行 1: @@
 ==== LSTM ====
-# このページをみんなで修正しよう！（山川）
-LSTM は直訳すると「長い短期記憶」となります。長い？短い？どっちなの？と迷いますが，短期記憶とはすぐに忘却してしまうようなその場限りの記憶です。短期記憶の影響を長期に渡って保持する能力を持つリカレントネットワークモデルです。２０１０年代になってから，このリカレントネットワークモデルの学習時に必要となる実用的な手法の提案がなされ，現実的な問題を解くことが可能になりました。音声認識，機械翻訳，ロボット制御，手書き文字生成，など応用範囲が広がりました。
+LSTM は直訳すると「長い短期記憶」となります。長い？短い？どっちなの？と迷いますが，短期記憶とはすぐに忘却してしまうようなその場限りの記憶です。短期記憶の影響を長期に渡って保持する能力を持つ[[再帰型ニューラルネットワーク|リカレントネットワーク]]モデルです。２０１０年代になってから，このリカレントネットワークモデルの学習時に必要となる実用的な手法の提案がなされ，現実的な問題を解くことが可能になりました。音声認識，機械翻訳，ロボット制御，手書き文字生成，など応用範囲が広がりました。
 以下に LSTM の概念図を示しました。
@@ 行 24: / 行 23: @@
 もう一つの注意点として実線と点線の区別に注目してください。実線は即時的に働く流れです。一方点線は時間遅延を表します。次の時刻に影響を及ぼすことを示しています。
-最後に後回しにした青線で描かれたピープホールですが，セルの内容が直接ゲートを制御するために導入されました。セル自身がゲートを制御することで，より積極的にゲートの開平の効率向上を目指しています。実装では，TensorFlow ではピープホールはデフォルトではオフになっています。Chainer ではピープホールは仮定されいないようです。Theano ではLSTMセルを自作することになります。
+最後に後回しにした青線で描かれたピープホールですが，セルの内容が直接ゲートを制御するために導入されました。セル自身がゲートを制御することで，より積極的にゲートの開平の効率向上を目指しています。
 図では１つの LSTMブロックだけが描かれています。LSTMブロックが複数集まってLSTM層を構成します。LSTM層を多層化するとディープLSTMになります。多層のLSTMでは，時間的空間的に異なる抽象化が表象されると考えられます。
@@ 行 31: / 行 30: @@
 [[機械学習:LSTについての中級者向け話題]]
+=== 外部サイト===
-  * [[http://colah.github.io/posts/2015-08-Understanding-LSTMs/|http://colah.github.io/posts/2015-08-Understanding-LSTMs/]]英語ですが定評のあるLSTM解説 Colah さんのブログ
+  * [[http://colah.github.io/posts/2015-08-Understanding-LSTMs/|Understanding LSTM Networks]]: 英語ですが定評のあるLSTM解説 Colah さんのブログ
-  * [[http://qiita.com/KojiOhki/items/89cd7b69a8a6239d67ca|上の Colah さんのブログの翻訳のようです]]
+  * [[http://qiita.com/KojiOhki/items/89cd7b69a8a6239d67ca|LSTMネットワークの概要]]: 上の Colah さんのブログの翻訳のようです