Gatoはマルチモーダルデータから常識を学習しうることを実証したといえそうです

WBAIからのお知らせ
2022.06.11

山川宏、松尾豊、高橋恒一、
浅川伸一、市瀬龍太郎、大森隆司、栗原聡、
佐藤直行、田和辻可昌、布川絢子

特定非営利活動法人 全脳アーキテクチャ・イニシアティブ

概要

本稿では、DeepMind社が最近発表したGato [DeepMind, 2022] は、単一のAIシステムがラベル付けされた多領域のデータから広範な常識的知識を獲得できることを実験的に実証した点で汎用人工知能(AGI)技術の進展に貢献しているとの見方を示します。さらに、AGIの完成評価についての研究議論を活性化した点でも貢献があると考えました。そして、われわれWBAIにとっては、BRA駆動開発を利用した脳型AGI開発において有用な材料となりうることについても述べます。

1. はじめに

Google傘下のDeepMind社は、2022年５月12日に、主にエキスパートの教師データを用いる模倣学習により、604個のタスクを遂行できる単一のAIシステムであるGatoを発表しました。この発表資料には「A Generalist Agent」というセンセーショナルなタイトルが付与されたこともあり、その後において、あらためてAGIの実現性についての様々な議論が活発化したようです(文末の Gatoにかかわる報道 を参照)。今回は、汎用人工知能(AGI)はいずれ実現するという前提のもとでGatoがそれにどこまで近づいているかという視点からの議論が多く見られ、そもそもAGIは実現不可能であるという論調は少なかったと見ています。

一方で私たちは、NPO法人として民主的な形での脳型AGIの開発を推進しています。それは「脳全体のアーキテクチャに学び人間のような汎用人工知能を創る(工学)」という全脳アーキテクチャ(WBA)・アプローチに基づきます。私たちは、人の認知行動に関わるある程度細かい粒度で脳から学ぶことがAGIの設計の助けになると考えています。さらに、こうして構築されたWBAは、あらゆるタスクを人間の脳と同様の仕組みによって解決するので、人間とAIとの対話、人間によるAI理解、人間の脳のアップロードなどの器として用いるなどにおいて有益なAGIになると考えています。

このように、WBAIはDeepMindとは技術的および組織的な違いはありますが、同様にAGIの構築を目指した活動を2015年から継続しています。ここでは、WBAIにおいてこれまで深められてきた議論を踏まえ、Gatoの位置づけを行うとともに、WBA研究への波及効果について考えてみたいと思います。

2.知能の汎用性を支える２つの能力

Gatoの目指すところがAGIであることから、その成果を見積もる際に個別タスクについての問題解決能力に着目して評価を行うことは不適切でしょう。つまり、100年前のある賢者が、プログラミング能力が低いからといって、賢者と呼ばれない訳ではありません。

そこでここでは、WBAがその設立時において示した「汎用人工知能とは、多様な問題領域において多角的な問題解決能力を自ら獲得し、設計時の想定を超えた問題を解決できるという人工知能です。」という定義を起点として議論します。この定義についてさらに深めるならば、私たちが目指すべき理想のAGIは、個人の脳が実現するのと同様のレベルで、広範な知識獲得能力と柔軟な知識活用能力を併せ持つべきということです。

  • 広範な知識獲得能力とは、様々な問題領域において多面的な問題解決能力とそれに必要な知識を経験から獲得する能力のことです。言い換えれば、タスクのカバー範囲の広さに関して汎用性のある知能です(※1)。そして、この能力は、各問題領域で多くの経験と模倣を重ねることで、人の個人レベルで獲得されます。機械学習AIにおいても、ほぼ同様に、特定の領域ごとにおける大量のデータを利用することによって獲得される能力です。つまり常識の獲得に中心的な役割を果たすと考えられます[山川, 2020]。
  • 柔軟な知識活用とは、保有する知識を組み合わせたり、転移させたりすることで、設計時に想定していた以上の問題解決能力を発揮する能力です(※2)。この能力はむしろ、学習に利用できるデータが少なくても、比較的良い性能を発揮できることで評価されます。これは、創造的能力の発揮と関連しているとみなせます［山川, 2020］。この能力の例としては、知識として蓄えた数学の公式を現実的な応用問題に当てはめるようなレベルから、自然界から普遍性を発見する偉大な発見に至るレベルまで様々です。

ただし、両者の重要性は利用シーンによって異なるでしょう。多くの分野における常識を獲得したオールインワン型のシステムは、汎用技術として利便性が高く、開発や運用におけるコスト削減につながります。そして、対話AIや政策判断支援AIなどでは人との対人コミュニケーション能力が重視され、柔軟な知識活用能力も重要性を増すでしょう。また、想定外のシステムトラブルに対処する反脆弱性をもつAIや、仮説を生成して人類の知的フロンティアを開拓する科学AIにおいては特に柔軟な知識活用が中心的な能力になるでしょう。

このような整理に基づくならば、Gatoの貢献は、広範な知識獲得能力に関するものでしょう。端的に言えば、これらの能力は、特定のタスクに特化した専門AIの寄せ集めからなるBig-switch文AIによって実現されるでしょう[Yamakawa, 2016]。また2020年代の機械学習AIにおいて、大量のデータを使って大規模モデル（Transformerなど）を学習させ、十数個のタスクを処理させること自体は目新しいことではなくなりました。そうであったとしてもGatoは、「均一な仕組みからなる単一のAIシステムで数百のタスクを扱えることを実証した」という意味で常識の獲得にむけて足跡を残したと思われます。ここで少し、AIの歴史を振り返ると、伝統的な記号AI研究では、Cycプロジェクト[Cyc]のように人が膨大な知識を論理的に記述することによって常識の構築を目指しましたが、知識を書き下しきれない問題は常に残ります。対してGatoのアプローチでは、多くのラベル付きデータを用意することにコストを要しますが、言語化し難い知識をとり込める点で優位性があるでしょう。今後においては、この2つの方向性を補完／統合することで、AIの社会的能力も含めた常識が高まる可能性がありそうです[Shrobe,2018]。

一方、提案されたGatoには、柔軟な知識活用能力の技術の観点での貢献は見当たらない。とはいえその能力については、現在の機械学習AIにおいて、転移学習、ドメイン適応、Zero/One/Few-shot学習などという形で進展しています。しかし、例えば人間に近いレベルの知能テストに回答できるまでには至っていません。

3.WBAに対するGatoの波及効果

3.1 多様な機能を担う新皮質の計算機能をソフトウエアとして実証した

WBAの構築においては、i番目の「タスクAiを解く」という目標は、必ず「タスクÃiを解く＝人間の脳と同様の仕組みでタスクAiを解く」という派生目標に置き換えることになります。そこで私たちは、脳参照アーキテクチャ(BRA)駆動開発というWBAの開発方法論を発展させました[Yamakawa, 2021]。そこでBRA駆動開発では、脳のメゾスコピックレベルの解剖学的構造に整合的な仮説的なコンポーネント図(HCD)を脳全体について作成し、それらを統合して全脳参照アーキテクチャ(WBRA)を設計し、それに基づいて実装を行います(※3)。

現在は、様々なサイズの複合的な脳領域について、脳の解剖学的構造に整合するように計算機能を体系化したHCDを設計する作業を進めています。この作業に先立って、脳のやり方に拘らなければ着目する脳領域で実現される計算機能が原理的に実現可能であることを示す根拠の存在が望まれます。もっとも強い証拠は、その計算機能を実現するソフトウエアなどの人工物が存在することです。例えば、SLAMという既存の工学的実装により、海馬が担う同様の機能が実装可能性であることを実証することに役立ちました[Taniguchi, 2022]。

既に述べたようにGatoは均一な仕組みからなる単一のAIシステムで多くのタスクを解決できることを動作するソフトウエアとして実証しました。この機能を脳に対応付けるならば、均一な局所回路によって様々な計算機能を実現する大脳新皮質の主な機能に対応します。つまり、必ずしも脳とは一致しない形態であるとしても、大脳新皮質の機能が人工物として実装可能であることが裏付けられました。特に大脳新皮質は、脳においてもっとも人らしい汎用性に関わる機能を担うことから、今回のGatoの成果はWBAの開発においても有益であるといえます。

3.2.完成したWBAの能力要件についての再考

「GatoはAGIに到達したと言っていいのか？」 この問いに対して物議が醸し出される最大の理由は、何をもってAGIの完成とするのかを判定する基準がないことでしょう。

関連して、WBAのアプローチでは「脳全体のアーキテクチャに学び人のような汎用人工知能を構築する(工学)」としていることから、現状ではその完成要件を以下の2つであると設定しています。

  • [能力要件] AGIとして要求される典型的な能力（タスク）のリストを実現している
  • [脳部品要件] 主要脳器官が実装され、その全てが上記いずれかのタスクで利用されている

実は、前者の能力要件は、以前からWBAIにおける悩みの種でもあります。こうしたAGIの評価方法には、人を基準としたものと、そうでないものが知られています。WBAのアプローチは人間の脳を参照するため、典型的なタスクのリストは人間の能力をベースとしたものです。

しかし、人が行うことのできる典型的なタスクのリストは、どのようにして決めればよいのでしょうか。一般的にいって、タスクは数え上げ難く、環境の複雑さによって無限に存在するともいえます。そのため、AGIの評価に用いるべき典型的なタスクリストを決定することは極めて困難です。さらに、一旦、タスクが決まると、それに合わせてAIシステムがチューニングされがちである(※4)ため、AGIで追求すべき柔軟な知識活用能力を評価し難いという問題もしばしば生じます。

但し、これはAGI分野において長年議論されてきた課題であり、WBAアプローチに固有の課題ではありません。したがって、今後の世界的な研究の進展により、AGI評価の標準的な枠組みが明らかになれば、その枠組みを用いてWBAの能力要件を設定できる可能性にも期待しています。

ですが将来、前述のWBRAが完成に近づく段階に至っても、AGI研究コミュニティから、適切なタスクリストの決定に役立つ情報が得られない可能性もあります。そのような場合には、WBRAに含まれる全てのコンポーネントが特定数以上のタスクで使用されるようにタスクリストを選ぶことで能力要件とすることが次善の案として検討されています[Yamakawa, 2021]。

4.おわりに

本稿においては、まず汎用的な知能は、常識に関わる広範な知識獲得能力と、創造性に関わる柔軟に知識を活用能力の両方を人間レベルで併せ持つべきであることを指摘しました。その上で、DeepMind社が最近発表したGatoは、単一のAIシステムがラベル付けされたマルチモーダルデータから広範な常識的知識を学習しうることを実験的に実証したことに価値があり、それが汎用人工知能(AGI)技術の進展に貢献しているとの見方を示しました。

またGatoの成果から、より脳に寄り添ってAGIを開発する点からみても有用な波及効果がありました。1つ目には、広範な知識獲得能力の実現をソフトウエアとして実証されたことは、脳に似せてAGI構築を進めるBRA駆動開発にとっては、概ね新皮質で実現される計算機能が原理的に実現可能であるというサポートを得たことになります。2つ目にGatoの発表は、広くAI研究者がAGIの意味とその完成度について問い直す機会を与えたように思われます。今後は、様々なAGI開発組織からAGIの完成を宣言する発表がなされる可能性があります。私たちとしても、こうした機会を捉え、研究者コミュニティで議論が活性化することが繰り返されることで、徐々にAGI評価に関わるコンセンサスが形成されることを期待しています。

  • ※1  完全な対応ではないが、二重過程理論においてはシステム１の学習に関連します。
  • ※2   完全な対応ではないが、二重過程理論においてはシステム２の計算過程に関連します。
  • ※3  Structure-constrained Interface Decomposition (SCID)法と呼ばれます。
  • ※4   人においても知能検査を複数回実施すれば、その度にその検査得点は上昇します。

References

 Gatoにかかわる報道 (網羅的ではありません）