文書の過去の版を表示しています。
単純再帰型ニューラルネットワーク
単純再帰型ニューラルネットワークとは，初期に提案された２つモデルを指します。ジョーダンネットワークとエルマンネットワークと言います。
図はエルマンネットです。図中に示されたアルファベット U, W, V, Z は結合係数行列を表しています。それぞれの表記はミコロフの論文と合わせました。 ミコロフはこの RNN すなわちエルマン型の SRN を使って言語モデルを提案しました。中級者向け話題
文献
Mikolov, T., Karafiat, M., Burget, L., Cernocky, J., and Khudanpur, S. Recurrent neural network based language model. In INTERSPEECH, pp. 1045–1048, 2010.