WBA

この文書は読取専用です。文書のソースを閲覧することは可能ですが、変更はできません。もし変更したい場合は管理者に連絡してください。
=== 単純再帰型ニューラルネットワーク ===
単純再帰型ニューラルネットワークとは，初期に提案された２つモデルを指します。ジョーダンネットワークとエルマンネットワークと言います。

{{:機械学習:srn.png?300|}}

図はエルマンネットです。図中に示されたアルファベット U, W, V, Z は結合係数行列を表しています。それぞれの表記はミコロフの論文と合わせました。
ミコロフはこの RNN すなわちエルマン型の SRN を使って言語モデルを提案しました。
図では情報は上から下へと流れます。左下の入力層には全語彙数分の入力層ニューロンがあります。一番上の出力層も全語彙分のニューロンを持ちます。
従って入力層と出力層とは同じ数のニューロンで構成されます。
一方，中間層のニューロン数には任意性があります。望む数のニューロン数を設定できます。入力層のニューロンは文脈層へコピーされます。
従って，中間層のニューロン数と文脈層のニューロン数は等しくなります。さらに図中Zと書かれた結合係数行列は単位行列Iになります。
単なるコピーですから，中間層から文脈層への結合係数行列にパラメータはありません。一時刻前の中間層の状態が文脈層へとコピーされます。

中間層では，一時刻前の自分の状態と入力情報を混合して情報を出力層へと伝えます。

== 外部サイト ==
ミコロフの言語モデルのソースコードは [[http://rnnlm.org/|RNNLM Toolkit]] から入手できます

[[機械学習:SRC_mid|中級者向け話題]]

== 文献 ==
Mikolov, T., Karafiat, M., Burget, L., Cernocky, J., and Khudanpur, S. Recurrent neural network based language model. In INTERSPEECH, pp. 1045–1048, 2010.