Project AGI および全脳アーキテクチャ・イニシアティブによる提案
Request for Research（RFR・研究依頼）とは？

要約

背景と動機

人工知能や機械学習は、近年、革新的な成果を挙げてきました。しかし、その最良の技術でさえ、動物の記憶や学習と比べると極端に単純なままです。いまだ実現されていない能力として、たとえば以下のようなものがあります。

一つきりの例から学習する能力
さまざまな出来事（エピソード）からなる特定の順序を学習する能力
顕著さに応じて学習に優先順位を付ける能力
カテゴリーを迅速に学ぶ能力

これらの能力はまとめて「エピソード記憶」と呼ばれることがあります。脳のなかの海馬系と呼ばれる領域は、哺乳類の脳における宣言的記憶（意味記憶＋エピソード記憶）にとってきわめて重要であることが知られています。この研究依頼（RFR）は、海馬系についての私たちの理解を向上させることで、脳全体をモデル化したり現行のAIアルゴリズムを改良したりすることになります。

海馬についての最も傑出した計算論的モデルの一つに、相補的学習システム（Complementary Learning System：CLS）があります。CLS は、神経科学の証拠によって十分な根拠が得られていますし、さまざまな経験的事実を説明することができます。このモデルは、いくつかのグループによって、実装化や拡張化がなされてきました。したがって、CLS は記憶と学習を向上させるための人工的な海馬を作り上げるためのよい出発点となります。

目標

機械学習コミュニティにおいて広く使われている最新のフレームワークを用いてCLS を実装すること。つまり、他の人たちがいじったり拡張したりできるようにすること。

これが人工的な海馬の最初の局面を形作ります。そして次の段階は（この文書の範囲外ですが）以下のようなものになるはずです。

海馬／新皮質系を（新皮質としての）従来のパターン認識器と接続することによって創ること
テストを拡張して
- 高次元のデータセットを含むようにすること
- 記憶／学習についての上記の諸特性を（パターン補完の変形を超えて）カバーする諸課題を含むようにすること

成功基準

Tensorflow などの一般的なフレームで実装されており、簡単な指示でインストール、実行しうる一つのコードベースであること
実装がCLS （またはその変種）の記述に従っていること
最新のCLS論文（Schapiro 2017）の諸結果を再現すること

状況

Semi-Closed.👉 ページ最下部

プロジェクト内容の詳細

リクエスト：現行の機械学習プログラミング・フレームワークを用いて（人工海馬のバージョン１としての）CLS 海馬モデルを実装化すること

動機

深層学習などの先端水準のAIアルゴリズムは、その大部分がカテゴリーや系列を統計的一般性に基づいて学習するモジュールから構成されています。これは、意味的記憶あるいは事実についての記憶に類似したものです。意味的記憶は、宣言的記憶、すなわち意識にのぼる記憶の一側面です。宣言的記憶のもう一つの側面としてエピソード的記憶があります。エピソード的記憶は、しばしば自伝的と言われますが、一回きりの、あるいはある順序で起きた出来事の記憶です。こうした性質は、顕著さに応じて学習に優先順位をつける能力や、意味的な情報を素早く学ぶ能力へとつながっていると考えられます。

記憶というものの比較的高度な諸特性は、海馬系と新皮質のあいだの相互作用によって生じているということが認められています。あえて単純化して言うと、機械学習のいろいろなモデルは新皮質に類似しています。新皮質には長期的な意味的記憶が貯蔵されます。海馬・新皮質系をより深く理解したり、より優れた実装化をしたりすることは、認知アーキテクチャや洞察をつうじてAIシステムに大きな改良を加えることのきっかけになります。

相補的学習システム（CLS）

相補的学習システム（CLS・Complementary Learning System）というアイデアの中心にあるのは、新皮質と海馬という2つの領域が相補的な記憶システムを作り上げているということです。新皮質は、高度に分散され重なり合った、推測や推論にとって都合のよい表現を形成します。海馬は、もっとまばら（スパース）で重なり合いのない表現を形成します。つまり、個別的な諸事例を素早く学習することに特化した表現や、interleaved replay （ニューラルネットのさまざまなモデルで観察されている破滅的忘却という問題を回避するための記憶再生）を促進することに特化した表現を形成します。

海馬系を図式化して描くと、下図のようになります。このプロジェクトの範囲に入るのは、嗅内野（Entorhinal Cortex：EC) 、海馬体（Hippocampal Formation）の一部［歯状回（Dentate Gyrus ：DG）、CA3 、CA1 ］のモデル化です。それは難しすぎる、と思わないでくださいね！このプロジェクトに挑むにあたって、これらの諸特性をすべて理解しないといけないわけではありません。

図１：海馬の記憶形成（O’Reilly 2014より）

後部皮質 Posterior Cortex、内側側頭葉 Medial Temporal Lobe（MTL）― 連合野Association Areas、海馬体 Hippocampal Formation、頭頂葉 Parietal Cortex（背側路Dorsal Stream）、海馬傍皮質 Parahippo. Cortex、内嗅皮質 Entorhinal Cortex、歯状回Dentate Gyrus （高度パターン分離）、CA3 （パターン補完 pattern completion）、下側頭葉皮質 IT cortex （腹側路 Ventral Stream）、嗅周皮質 Perirhinal Cortex、
鉤状回Subiculum、CA1（安定的・スパース・反転可能）

→ 記憶のコード化 Memory encoding
→ 記憶の呼び出し Memory retrieval
→ 海馬機能の中核 Critical learning

以下では、簡潔な説明をするとともに、より徹底した取り扱いのために必要なリソースを提示します。嗅内野（EC）は、新皮質の全体からの入力を結びつける、スパースで分散された重なり合ったパターンを示します。このパターンは、DG からCA3 にかけて抑制と圧縮が増すにつれて、さらにスパースになり、重なり合いが少なくなっていきます。このことは、類似した入力に別々の表現を提供することになり、一般性ではなく特定の諸事例を学習するさいに重要になる、さまざまなパターンを分離する能力を提供することになります。CA3 における再帰的結合は、部分的な手がかりを完全なパターンへと拡張することでパターン補完を可能にし、諸状態からなる何らかの連想や結合（エピソードとなる出来事）を学習することを可能にします。しかるのちにCA1 は、EC へマッピングを返しますが、元々のパターンをリプレイして皮質に示すことで、回想や記憶の固定が可能になります。

CNNBook にはCLS についての素晴らしい章があります。それは（O’Reilly 2014）のなかでも十分に説明されています。オリジナルの諸論文も生物学や予備知識のより徹底した探求のために役立ちます（McLelland 1995, Norman 2003）。

この研究依頼（RFR）は、基準となる実装としてSchapiro 2017を参照しています。この論文に目を通されることをおすすめします。彼女らは神経シミュレーション・ソフトウェアの Emergentで書かれた作業コードを提供しています。こちらのコードを眺めてみることが出発点として役に立つはずです。

CLS のこの実装化の諸特性は以下のように単純化することができます。

個別の出来事を素早く学習すること（「エピソード的」記憶の一形態）
諸入力の結合からなる特定事例についての僅かな回数からの学習（few-shot learning ）
統計的な規則性を素早く学習すること（急速な「意味的」記憶の一形態）
種類（クラス）についての素早い学習

データセットとテスト

個別的な出来事を記憶することができ、かつ、統計から規則性を学習していることのテストとして、3つの実験があります。このテストの詳細な内容については Schapiro 2017を参照ください。ここでは以下のように要約しておきます：

EC は ECin とECout に分割されます（ECout からECin への結合があります）。これら3つのテストのそれぞれにおいて、ある文字列が訓練局面のECin へと提示されます。テスト局面では、パターンのいくつかの部分がECin へと提示され、連想された完全なパターンがECout 上で観察されなくてはなりません。「完全な」パターンの内容は入力データのなかにある構造を反映しています。

エピソードvs 規則性：　文字列はいくつかの対をなします。対のそれぞれは一貫して一緒にあり、同じ順序で提示されます。このグループ化が個別的な「出来事」またはエピソードとなります。二つの文字がネットワークに対して一度に示されるので、サイズ＝２の窓があることになります。ある場合には、この窓が一度に二文字ずつ増やされ、エピソードは順に個別に提示されます。言い換えると、ネットワークは個別の出来事を学習しなくてはなりません。別の場合には、窓は一度に一文字ずつ増やされます。ネットワークは、エピソードとともにエピソード間の境界を見ることになりますが、エピソードの対がより頻繁に観察されることになります。これにより統計や規則性を学習することが必要となります。
コミュニティ構造：　文字列がグラフ上のランダムウォークによって生成されます。そのグラフには相互にまばらに接続された密な結合性を持つ領域（コミュニティ）があります（下図）。他のコミュニティへと直接に接続された境界のノードがあり、自身のコミュニティへは間接的にのみ接続されていますが、自身のコミュニティへは、より強く関係付けられていなくてはならないものです。ネットワークは一次転移を超えて統計から規則性を学ばなくてはなりません。

図２：　コミュニティ構造を備えたグラフ（Anna Schapiro氏のご厚意による）

連想型推論 ：　文字列対が頻繁に示され、それらのパターン間の結合が学習されなくてはなりません。例えば、AB とBC が示された際にAとC の結びつきを学習します。A がテスト局面のネットワークへと提示されたら、C が補完されたパターンの中になければならないということになります。

予備知識

CLSの簡単な歴史

CLS（相補的学習システム）は（McClelland 1995）によって最初に提唱され、(O’Reilly 2000, O’Reilly 2001）で実装化が探求されました。(Norman 2003) は、ベクトルの想起やパターン補完、潜在的入力を妨害項（distractor）と見分けることといった、広範囲にわたるテストを行うことによって、さらに歩を進めました。

(Greene 2013) は、海馬が文脈なしに学習することができるメカニズムを調べるという目標のもとでCLS の拡張を行いました。外側および内側の嗅内野（EC）は、文脈や物体に関係した個別的情報を受け取ることで知られています。Greeneらは、この二つを別々の構造としてモデル化しました。同様に、DG、CA3、CA1のなかのそれぞれの構造をモデル化しました。また彼らは、LEABRAフレームワークを採用しましたが、このフレームワークは、シナプス固定化（consolidation）を、単純なヘブ学習よりも精確にモデル化することを狙ったもので、局所誤差の勾配によって駆動されます。オンラインで訓練が施され、モデルの一部を事前訓練する必要をなくします。彼らは、異なるいくつかのネットワーク配列にかんして、ある文脈信号を与えられたときに視覚的な物体を想起する能力と、その逆の能力を研究しました。

(Ketz 2013) もLEABRA でCLS を拡張しました。訓練スピードと性能を改善し、(Greene 2013) と同様に事前訓練を回避したのです。彼らのモデルは、いろいろなパターンの語彙を学習し、さまざまなネットワークサイズや訓練スタイル（ヘブvs LEABRA）のもとで、想起についてのテストが行われました。

(Schapiro 2017) は、Ketz のモデルとREMERGE モデル（Kumaran 2012）の「ビッグループ」回帰の諸原理を結びつけました。彼らは、個別的な出来事を素早く学習する能力（既存研究）とともに規則性を素早く学習することをテスト、提示するよう実験を拡大することによってKetz の研究を拡張したのです。ここで、個別的な出来事を素早く学習する能力は、しばしば「エピソード的」と呼ばれ、規則性を素早く学習する能力は「意味的」であると呼ばれます。

参考文献

Schapiro, N. B. Turk-Browne, M. M. Botvinick, and K. A. Norman, “Complementary learning systems within the hippocampus: a neural network modelling approach to reconciling episodic memory with statistical learning,” Philos. Trans. R. Soc. B Biol. Sci., vol. 372, no. 1711, 2017.
O’Reilly, R. Bhattacharyya, M. D. Howard, and N. Ketz, “Complementary learning systems,” Cogn. Sci., vol. 38, no. 6, pp. 1229–1248, 2014.
McClelland, B. L. McNaughton, and R. C. O’Reilly, “Why there are complementary learning systems in the hippocampus and neocortex: Insights from the successes and failures of connectionist models of learning and memory,” Psychol. Rev., vol. 102, no. 3, pp. 419–457, 1995.
Norman and R. C. O’Reilly, “Modeling Hippocampal and Neocortical Contributions to Recognition Memory: A Complementary-Learning-Systems Approach,” Psychol. Rev., vol. 110, no. 4, pp. 611–646, 2003.
Greene, M. Howard, R. Bhattacharyya, and J. M. Fellous, “Hippocampal anatomy supports the use of context in object recognition: A computational model,” Comput. Intell. Neurosci., vol. 2013, no. May, 2013.
Kumaran and J. L. McClelland, “Generalization through the recurrent interaction of episodic memories: A model of the hippocampal system,” Psychol. Rev., vol. 119, no. 3, pp. 573–616, 2012.
Ketz, S. G. Morkonda, and R. C. O’Reilly, “Theta Coordinated Error-Driven Learning in the Hippocampus,” PLoS Comput. Biol., vol. 9, no. 6, 2013.
Moustafa, E. Wufong, R. J. Servatius, K. C. H. Pang, M. A. Gluck, and C. E. Myers, “Why trace and delay conditioning are sometimes (but not always) hippocampal dependent: A computational model,” Brain Res., vol. 1493, pp. 48–67, 2013.

（英語での）議論をご希望であれば、reddit の私たちのスレッド Learning and Memoryにご参加ください。

状況

Semi-closed
Cerenaut が2年間この問題に取り組んだ結果が近く公開されます。

RFR：海馬モデルをもちいて記憶を改善する

要約