2019年の幕開けにあたって

皆様、あけましておめでとうございます。

お陰様でNPO法人全脳アーキテクチャ・イニシアティブ（WBAI）は、賛助会員、サポーターズ、開発部、顧問、連携組織など多くの皆様のご支援・ご協力を賜ることで昨年（2018年）も活動を継続できました。

昨年の主だった活動としては、第３回WBAシンポジウムの開催や、AI-EXPOへの出展。さらに「推論」、「自律性と汎用性」、「脳における強化学習」、「アブダクション」をテーマとしたWBA勉強会の実施、「AIにまなざしを」をテーマとした第4回WBAハッカソン（取材記事：ビジネス＋IT）などを行いました。また新学術領域研究「脳情報動態」では2017年に開発した新皮質フレームワークに沿ったモデル開発なども進めました [1]。さらに、日本神経回路学会第28回全国大会（JNNS2018）内での特別シンポジウム（予稿集はこちら）を実施するなど、国内外での学会発表活動を行いました(参考：2018年度活動方針)。

世界のAI研究者たちの間でも、継続的学習、ライフロング学習、転移学習などのように、多様なタスクや環境に対応するよう機械学習の汎用性を高める方向性は次第に増えてきています。知能の汎用性をより高めるためには、適度に分解された形で知識を蓄積し、それらを結合する処理により知識の再利用を高めることで柔軟に問題解決を行う必要があります。ニューラルネットワークという仕組みは、そうした研究が共通して必要としている再利用性というものを支えるのに充分な柔軟性を備えています。

深層学習を基軸とする今回の人工知能ブームは技術的には成熟期を迎えつつある感があり、昨年あたりから認識技術を中心とした応用の範囲が見えてきました。深層学習がシステムの部品として利用されていると思われる事例も増えてきています。乱雑な部屋での「全自動お片付け」を実現したロボット（PFN）はその代表例でしょう。深層学習においては、大量のデータからの教師なし学習で問題に関する背景的な知識を獲得し、それを事前知識として用いながらファインチューニングにより多様なタスクを高性能に達成する方法は主流の一つであり、昨年はBERT（Google）がこうした方法で自然言語処理の性能を高めうることを示しました。こうしてデータが潤沢な特定のドメインにおいては、適切な深層ニューラルネットワーク・アーキテクチャがあれば、End-To-End学習などを用いてある程度は汎用的な問題解決を行えるようになってきています。

しかしながら知識を動的に再利用しうるように分解と結合を行う組み合わせは膨大であり、特定のドメインを超えて汎化能力を高めるのは容易ではありません。またそうした知識の結合は時間的な振る舞いの面においても柔軟に行われる必要があります。しかし脳ではこうした困難を乗り越えて汎用的な知能が実現されています。

こうした点のみに限りませんが、私達がAGIを完成させるにいたるまでには、様々な技術的障壁があるでしょう。その克服のために、脳のアーキテクチャーに寄り添ってAGI開発を行うことを通じて、開発の方向性を限定し、時にヒントを得ようとしているのがWBAアプローチです。このアプローチにおいては、脳に学んでソフトウエア開発を行うためのアーキテクチャーやその開発方法論が独自であり、かつそれ自体が大きな研究テーマになっています。

ところでこうした独自の開発アプローチはどのように形成されたのでしょうか。発端は2013年末の一杉裕志氏、松尾豊氏、山川宏氏による基本アイディアの提唱でした。その後、当NPO法人発足メンバーによる議論を通じて、2015年3月に高橋恒一氏による「全脳アーキテクチャ中心仮説」（下記）が提唱されました。そして当NPO法人は、この仮説に基づいて「脳全体のアーキテクチャに学び人間のような汎用人工知能を創る（工学）」ことを目指し始めたのです。

全脳アーキテクチャ中心仮説
”脳はそれぞれよく定義された機能を持つ機械学習器が一定のやり方で組み合わされる事で機能を実現しており、それを真似て人工的に構成された機械学習器を組み合わせる事で人間並みかそれ以上の能力を持つ汎用の知能機械を構築可能である”

当NPO法人は、当初となる2015年より複数のモジュールを実行・学習するための計算資源の管理機構として結合実行プラットフォームの研究を促進しました。しかしながら、どのようにして脳に学んでソフトウェアを構築しうるのかという大きな課題は残されたままでした。

このため、脳型AGIに興味がある有志のエンジニアがやってきても、何をどのように作ることをお願いしたらよいのかを説明できず、プロジェクト化を行えない状況が続いていました。2017年には、この状況を克服するため、エンジニアと共に脳に学んでソフトウエアを実装するということに着手しました。2018年にかけては脳型AGIの開発方法論についても進展が見られ、同時に、全脳アーキテクチャと呼びうるシステムを部分的にであれば開発しうる段階へと到達しました。現在は、脳型AGIの開発を効率的なものにしてゆくために、数年前のように機械学習モジュールを組み上げる開発方法論から、何らかの機能を付与された脳内のある程度大きなネットワーク（機能回路）を重ね合わせるような開発方法へ転換し始めています。（下図）

当NPO法人は、脳全体のアーキテクチャに学んだ汎用人工知能（AGI）の完成に向けて、研究開発の促進を進めてまいりました。一方で、AGIが科学、技術、経済の革新を自動化することで産業革命以来最大のインパクトをもたらしうることを踏まえ、当NPO法人は、皆様とともに「人類と調和する人工知能のある世界」に向けて長期的な視点をもって歩んで行ければと考えておりますので、本年もより一層、また多くの皆様からご支援、ご愛顧のほどお願い申し上げます。

2019年元旦
特定非営利活動法人全脳アーキテクチャ・イニシアティブ　一同

脳に学ぶAGI開発手法の足取り

以下ではもう少し詳しく、脳に学んでAGIを構築するための方法論を当NPO法人が模索してきた足取りについて紹介したいと思います。

図：いかに脳から学ぶことでAGIをつくるのか

2016年の春には認知アーキテクチャの活動状態をコネクトーム上でモニタリングするツール（BiCAmon）を開発しましたが、こうした可視化ツールだけでは開発を促進することは困難でした。

一方でほぼ同時期において、ドワンゴ人工知能研究所によりAGIが学習するためのシミュレーション環境の開発（Life in Silico: LIS）が進められ、「超人工生命ハッカソン」などで公開され、その年秋の第２回WBAハッカソンにおいてもプラットフォームとして利用されました。このハッカソンの成果の中から優秀な4件が選出されました。こうして認知アーキテクチャの開発方法としては一定の見通しを得ることができました。

これらの優秀な4件については、人工知能学会創立30周年記念事業「みんなでつくる認知アーキテクチャ」において成果発表会をおこない、そのなかで脳との接地がある一件を特に優秀なものとして表彰しました。しかし逆に言えば、脳型AIの開発は神経科学の専門性とエンジニアリング能力を兼ね備えた個人が主導する形でしか進め難いことが明らかになりました。

そこで、2016年の終盤では、いかにすれば神経科学の専門家とエンジニアが連携して脳に学んでソフトウエアを構築できるのかという議論が起こりました。このため、全脳アーキテクチャ開発部（SIG-WBA）の技術者らをも巻き込んで議論が交わされ、その中で、AGIに関わる既存のロードマップ等（Good AI、Facebook、AGI研究者たちなど）の検討を行いましたが、そのいずれにおいても脳への接地がなされていないことが確認されたため、参考にする程度にとどまりました。

そこで2017年に入り、3日間にわたり、神経科学の知識をあまり持たないエンジニアが脳に似た形で計算モデルを作る触覚ミニハッカソン（文末参照）を内々に実施しました。これにより、神経科学者と少数のエンジニアが集中的に議論をしながら進めるならば、小さな範囲において脳に似た人工ニューラルネットワークモデルを構築しうることがわかり、その後の開発方針に目処がたちました。

この成功をうけて、2017年秋には、海馬をテーマとした第3回WBAハッカソンを開催しました。様々な動物実験と対応する段階的なタスクとその実行環境、参考とすべき大雑把なアーキテクチャの情報を提供することで実施し、優勝チームは複数のタスクを実現するシステムを実現できました。しかしながら、脳のアーキテクチャに近い形で実装するという面では不十分さが残り、また同じシステムで複数のタスクを解くことの意義が必ずしもハッカソン参加者に理解されないという問題も生じました。

こうした経験から、「多くの技術者が協力してある程度の規模と複雑さをもつ脳型AGIの開発を行うためには、どのようにしたらよいのか？」という課題が明確化してきました。そこで2017年の末には、完成したAGIがシステムとして発揮する能力群と、それを支える部分的な機能群、そして機能群と様々な脳器官との関係づけの議論が行われました。こうして、いかにして脳型AGIをつくるのかという「開発方法論」に焦点があたってきたわけです。

2018年の前半における開発方法論の進展は、主に以下の４つがありました。

汎用性を評価できるように、関連する複数のタスクを準備する
タスクに関わる脳型のアーキテクチャのある程度詳細な整備
スタブ・モジュールにより構築されるサンプル・プログラムの開発
成果に対する評価基準の整備（GPS基準）

ここで、アーキテクチャにかんしては、脳器官に対応するモジュールとその機能、さらにモジュール間の接続関係とそこを流れる信号の計算論的意味付けがなされました。スタブによる開発とは、特定のタスクの問題解決なら行える作り込みのモジュールどうしを組み合わせたものをサンプル・プログラムとして用意することで本開発の足場とすることです。成果を評価するためのGPS基準とは、知能の汎用性を目指すために複数のタスクを同じシステムで実行できる Functionlly General、全脳アーキテクチャであるために脳に似たメカニズムを評価する Biologically Plausible、そしてそれらができるだけシンプルに実現されていることを評価する Computationally Simple の３つの観点からなります。

こうした開発方法論の整備の結果として、2018年秋に実施された第4回WBAハッカソン（取材記事：ビジネス+IT）においては、部分的にであれば全脳アーキテクチャを開発しうる段階へ到達しました。しかし準備段階は混乱し、多大な工数を要しました。振り返ってみれば、複数タスクの設定、アーキテクチャの設計、サンプル実装などの作業が混在する中で、どのような専門性を持つ人物が何を担うべきかという分業の方針がなかったことが大きな混乱要因でした。この脳のアーキテクチャに沿って各脳器官に対応するモジュールを作成して組み合わせるとい開発方法は、”全脳アーキテクチャ中心仮説”をナイーブに踏襲したものでした。しかしそれだけでは効率的な準備を行えなかったのです。

こうした背景から、2018年の中盤ごろからは、ソフトウェアの仕様書に相当する機能回路を設計するアーキテクトと、それに基づいて実装を行うエンジニアといった分業により、夫々に必要とされる専門性を分離できる開発方法論の検討が進みました[1]。ここで機能回路とは、アーキテクチャの部分グラフに対して機能を付与したものです。逆に言えば、脳器官モジュールの繋がりとしての機能回路を重ね合わせることで、次第に脳全体のアーキテクチャを構築しようとするわけです。

エンジニアがプログラムを書くためには、機能回路の情報処理的な側面を理解できていれば充分です。したがって、脳型AIの開発に意欲があり機械学習などに専門性をもつエンジニアであれば、アーキテクトの作成した仕様書に基づいて、実際に動作するプログラムの実装に取り組むことが可能となります。

他方でアーキテクトは、何らかのタスク群に対応した機能回路を、既存のアーキテクチャと様々な神経科学知を用いて設計します。脳においては結合されたモジュールによる回路として機能が発揮されていると考えることは自然であり、以前のようにモジュール単体で扱うよりも寧ろ機能を検討しやすくなります。このためアーキテクトは、神経科学への一定以上の理解と、情報処理的なセンスを兼ね備える必要はありますが、プログラムを実装する能力は問われません。

そこで、2019年は機能回路の重ね合わせによる脳型AGIの開発方法の構築を更に進め、開発コミュニティとして効率的に脳型AGIを構築できるように研究開発を促進してゆきたいと考えています。具体的には、実装された機能回路からアーキテクチャを更新したり、アーキテクチャや神経科学知見を組み合わせて次に取り組むべき機能回路を設計したり、神経活動データを利用してこの設計を支援する技術の開発を進めたりしようとしています。

開発方法論と開発自体がともに進めば、実装された複数の機能回路を構成するモジュールに重複が生じます。そこで、2020年以降は、そうしたモジュールをリファクタリングするなどして適切にマージすることで汎用的な知能として統合してゆくことが大きな課題になってくると考えています。

参考文献：

[1]Kosuke Miyoshi, Naoya Arakawa, Hiroshi Yamakawa, Do top-down predictions of time series lead to sparse disentanglement?, (ポスター) 日本神経回路学会第28回全国大会 (JNNS 2018), S2-4, pp.15-16, 2018. )
[2] Masahiko Osawa, Kotaro Mizuta, Hiroshi Yamakawa, Yasunori Hayashi and Michita Imai, Development of Biologically Inspired Artificial General Intelligence Navigated by Circuits Associated with Tasks, 日本神経回路学会第28回全国大会（JNNS2018）, S2-3, pp.13-14, 2018.（予稿集はこちら）

［コラム］脳に学び始めた触覚ミニハッカソン(2017年3月18-20日)

脳新皮質の部分的なアーキテクチャ（体性感覚と運動）を模した形で触覚情報処理を行う人工ニューラルネットワークモデルを実現することを目指しました。こうして、少数の優秀なエンジニアを神経科学者が密にサポートできるならば、脳の小さな部分領域について脳に似た人工ニューラルネットワークモデルを構築できることが確認されました。

神経科学者が解釈した論文(Manita et al. 2015)の知見を基に、機械学習エンジニアの神経回路を人工ニューラルネットとして実装した。
体性感覚と運動に関する脳領域のコネクトームアーキテクチャを模すことで、触覚情報処理が可能となる機械学習器を作製した。
作製した機械学習器の性能を評価したところ、畳み込みや再帰的ネットワークが触覚刺激の種類を区別するのに有効であることが判った。

エンジニアと神経科学者の議論

大脳新皮質のコネクトームを模した人工ニューラルネット

ニューラルネットによる触覚分類の性能評価