差分
このページの2つのバージョン間の差分を表示します。
| 両方とも前のリビジョン 前のリビジョン | |||
|
機械学習:単純再帰型ニューラルネットワーク [2016/02/23 11:42] asakawa |
機械学習:単純再帰型ニューラルネットワーク [2016/02/23 11:53] (現在) asakawa |
||
|---|---|---|---|
| 行 5: | 行 5: | ||
| 図はエルマンネットです。図中に示されたアルファベット U, W, V, Z は結合係数行列を表しています。それぞれの表記はミコロフの論文と合わせました。 | 図はエルマンネットです。図中に示されたアルファベット U, W, V, Z は結合係数行列を表しています。それぞれの表記はミコロフの論文と合わせました。 | ||
| - | ミコロフはこの RNN すなわちエルマン型の SRN を使って言語モデルを提案しました。[[機械学習: | + | ミコロフはこの RNN すなわちエルマン型の SRN を使って言語モデルを提案しました。 |
| + | 図では情報は上から下へと流れます。左下の入力層には全語彙数分の入力層ニューロンがあります。一番上の出力層も全語彙分のニューロンを持ちます。 | ||
| + | 従って入力層と出力層とは同じ数のニューロンで構成されます。 | ||
| + | 一方，中間層のニューロン数には任意性があります。望む数のニューロン数を設定できます。入力層のニューロンは文脈層へコピーされます。 | ||
| + | 従って，中間層のニューロン数と文脈層のニューロン数は等しくなります。さらに図中Zと書かれた結合係数行列は単位行列Iになります。 | ||
| + | 単なるコピーですから，中間層から文脈層への結合係数行列にパラメータはありません。一時刻前の中間層の状態が文脈層へとコピーされます。 | ||
| + | |||
| + | 中間層では，一時刻前の自分の状態と入力情報を混合して情報を出力層へと伝えます。 | ||
| + | |||
| + | == 外部サイト == | ||
| + | ミコロフの言語モデルのソースコードは [[http:// | ||
| + | |||
| + | [[機械学習: | ||
| == 文献 == | == 文献 == | ||
| Mikolov, T., Karafiat, M., Burget, L., Cernocky, J., and Khudanpur, S. Recurrent neural network based language model. In INTERSPEECH, | Mikolov, T., Karafiat, M., Burget, L., Cernocky, J., and Khudanpur, S. Recurrent neural network based language model. In INTERSPEECH, | ||