WBA

単純再帰型ニューラルネットワークとは，初期に提案された２つモデルを指します。ジョーダンネットワークとエルマンネットワークと言います。

図はエルマンネットです。図中に示されたアルファベット U, W, V, Z は結合係数行列を表しています。それぞれの表記はミコロフの論文と合わせました。 ミコロフはこの RNN すなわちエルマン型の SRN を使って言語モデルを提案しました。 図では情報は上から下へと流れます。左下の入力層には全語彙数分の入力層ニューロンがあります。一番上の出力層も全語彙分のニューロンを持ちます。 従って入力層と出力層とは同じ数のニューロンで構成されます。 一方，中間層のニューロン数には任意性があります。望む数のニューロン数を設定できます。入力層のニューロンは文脈層へコピーされます。 従って，中間層のニューロン数と文脈層のニューロン数は等しくなります。さらに図中Zと書かれた結合係数行列は単位行列Iになります。 単なるコピーですから，中間層から文脈層への結合係数行列にパラメータはありません。一時刻前の中間層の状態が文脈層へとコピーされます。

中間層では，一時刻前の自分の状態と入力情報を混合して情報を出力層へと伝えます。

ミコロフの言語モデルのソースコードは RNNLM Toolkit から入手できます

中級者向け話題

Mikolov, T., Karafiat, M., Burget, L., Cernocky, J., and Khudanpur, S. Recurrent neural network based language model. In INTERSPEECH, pp. 1045–1048, 2010.