Blog

第5回全脳アーキテクチャ勉強会 〜意思決定 深いゴール探索と深い強化学習の技術をヒントにして、前頭前野の機構の解明を目指す〜

概要

脳を構成する主な器官(大脳皮質、大脳基底核、海馬など)の動作原理を説明する計算論的モデルは、不完全ながら出そろってきています。これらの器官がどう連携して脳全体のアーキテクチャを形作っているかを解明し、人間のような知能の実現を目指すべき時期に来ています。
全脳アーキテクチャ勉強会では、毎回脳の機能の一部に注目し、神経科学、認知科学、人工知能などの関連分野の専門家をお呼びし、脳の機能の実現方法の何がわかっていて何がわかっていないかを、明らかにしていきます。
今回は脳の意思決定の機能に注目します。
脳の大脳皮質-大脳基底核ループという解剖学的構造は、脳がある種の階層的強化学習を行っていることを示唆しています。そして、その階層構造の一部である前頭前野は、「深い思考」の一例である行動計画に関与しています。
これらの神経科学的知見は、脳が行う柔軟な意思決定・行動計画の機構の解明に重要なヒントを与えてくれるはずです。
今回の全脳アーキテクチャ勉強会では、関連する神経科学的知見を簡単に紹介した後、深く関係する人工知能技術として、BDIアーキテクチャと強化学習について、それぞれの専門家にご講演いただきます。
終了後は,会場周辺にて有志による気軽な懇親会をおこないます.(詳細未定)こちらについても,みなさまのご参加をお待ちしております.

 

開催詳細

  • 日 時:2014年7月1日(火) 18:30-20:45(開場: 18:15)
  • 会 場:グラントウキョウサウスタワー 41Fアカデミーホール
  • 参加者:約200人(スタッフ・関係者含む)

 

講演スケジュール

 

時間 内容 講演者
18:30 Deep Learning とベイジアンネットと強化学習を組み合わせた機構による、 前頭前野周辺の計算論的モデルの構想 一杉裕志(産業技術総合研究所)
19:00 BDI ―モデル、アーキテクチャ、論理―(資料 新出尚之(奈良女子大学)
19:40 休憩(10分)
19:50 強化学習から見た意思決定の階層 牧野貴樹(グーグルジャパン)
20:30 自由討論

 

Deep Learning とベイジアンネットと強化学習を組み合わせた機構による、 前頭前野周辺の計算論的モデルの構想


講演者:一杉裕志(産業技術総合研究所)

概要:まず前頭前野に関係する神経科学的知見を簡単に紹介した後、脳の意思決定機構は、状況の違いや発達に応じて異なる方法を用いて報酬期待値最大化を近似計算するのではないか、という仮説を提案する。

 

BDI ―モデル、アーキテクチャ、論理―


講演者:新出尚之(奈良女子大学)

概要:Bratmanによれば、人間は「意図」をもって目標達成のための行為を決めるとされる。この考えに基づくRaoらのエージェントモデル「BDIモデル」について紹介し、これが人の脳の理解にどのように寄与できるかを考えてみたい。また、人間の行為決定においてこれと併用されていると考えられる、強化学習や確率推論などとの融合についても触れる。

 

強化学習から見た意思決定の階層


講演者:牧野貴樹(グーグルジャパン)

概要:強化学習は、機械学習の分野で研究されている行動計画最適化のための計算理論である。複雑な環境でも、試行錯誤を通して最適な行動系列を学習できることから、工学的応用にとどまらず、認知科学における意思決定機構の理解のための枠組みとして注目を集めている。
しかし、複雑な環境においては、強化学習をそのまま適用すると試行錯誤のコストが大きくなりすぎるため、実際には、様々な工夫が必要になる。ここでは、強化学習の基礎的な考え方を解説したあと、人間の意思決定機構として興味深い研究分野である、モデルベース強化学習とシミュレーション、階層型強化学習と内的動機付けについての話題を紹介する。