差分
このページの2つのバージョン間の差分を表示します。
| 両方とも前のリビジョン 前のリビジョン | |||
|
機械学習:lstについての中級者向け話題 [2016/02/23 05:51] asakawa |
機械学習:lstについての中級者向け話題 [2016/02/23 05:54] (現在) asakawa |
||
|---|---|---|---|
| 行 1: | 行 1: | ||
| - | === LSTM 中級者向け話題 === | + | ==== LSTM 中級者向け話題 |
| - | == ゲートの種類 == | + | === ゲートの種類 |
| どちらのゲートも非線形な変換ですが，シグマの方はロジスティック関数 f(x)=(1+exp(-x)^{-1}, | どちらのゲートも非線形な変換ですが，シグマの方はロジスティック関数 f(x)=(1+exp(-x)^{-1}, | ||
| どちらの関数もｓ字状曲線です。ロジスティック関数の方が値域が狭く0 =<f(x) =< 1 です。一方ハイパータンジェントは -1 =< tanh(x) =< 1で２倍に広がっています。大事なのは，ハイパータンジェントの方が原点(0, | どちらの関数もｓ字状曲線です。ロジスティック関数の方が値域が狭く0 =<f(x) =< 1 です。一方ハイパータンジェントは -1 =< tanh(x) =< 1で２倍に広がっています。大事なのは，ハイパータンジェントの方が原点(0, | ||
| - | == 時間についての誤差勾配の計算 == | + | === ピープホールの実装 === |
| + | 実装では，TensorFlow ではピープホールはデフォルトではオフになっています。Chainer ではピープホールは仮定されいないようです。Theano ではLSTMセルを自作することになります。 | ||
| + | |||
| + | === 時間についての誤差勾配の計算 | ||
| 完全な形でのBPTTは計算コストがかかるので，実現されいませんでした。時間的に完全な形でのBPTTによる学習が行われたのは２００７年のグレーブスの論文からでした。実装では今でも時間的に完全なBPTTを解くよりも切断BPTTを使う場合があります。ChainerもTensorFlowもBPTTの時間幅はオプションで指定します。 | 完全な形でのBPTTは計算コストがかかるので，実現されいませんでした。時間的に完全な形でのBPTTによる学習が行われたのは２００７年のグレーブスの論文からでした。実装では今でも時間的に完全なBPTTを解くよりも切断BPTTを使う場合があります。ChainerもTensorFlowもBPTTの時間幅はオプションで指定します。 | ||
| - | == 勾配消失問題，勾配爆発問題への対処 == | + | === 勾配消失問題，勾配爆発問題への対処 |
| 学習時には，勾配消失問題，勾配爆発問題を回避するために，勾配正規化，勾配クリップという技法が使われます。 | 学習時には，勾配消失問題，勾配爆発問題を回避するために，勾配正規化，勾配クリップという技法が使われます。 | ||