第23回 WBA勉強会〜脳における強化学習〜＆第4回WBAハッカソン説明会

概要

NPO法人全脳アーキテクチャ・イニシアティブでは、脳に学んだより汎用的な人工知能の開発に向けて、毎年秋にハッカソンを行っています。今年は「AIにまなざしを」をスローガンとして、眼球運動をテーマとする ハッカソンを10月の6〜8日の3連休に開催 しました。ここで各チームは、複数の視覚タスクを脳のように解く計算モデルの構築を目指しました。
このハッカソンに先立ち、大脳基底核と強化学習に関わる勉強会を開催しました。
サッケードという眼球運動においては、強化学習に対応づけられる大脳基底核と新皮質のループが大きな役割を果たします 。従来より脳の大脳基底核に関わる回路は、Actor−Critic 型の強化学習に関連付けられることが多くなっています。しかしながらそれが脳の神経回路との対応づけの点から見て最適とも限りません。そこで今回は、強化学習の源流にある、クラシファイアシステム、プロフィットシェアリングなどのアルゴリズムを振り返りながら、その脳との対応について検討する場として勉強会を企画しました。さらに発展的にはハッカソンで利用するサンプルプログラムとの関係について議論しました。

勉強会＆ハッカソン説明会 開催詳細

日　時：2018年8月19日（日） 勉強会 15:00-17:00、ハッカソン説明会 17:15-19:00
会　場： φカフェ 　東京メトロ・都営地下鉄「本郷三丁目」歩5分
主　催：NPO法人 全脳アーキテクチャ・イニシアティブ
共　催：強化学習アーキテクチャ勉強会
後　援：新学術領域人工知能と脳科学の対象と融合
文部科学省ポスト「京」萌芽的課題４「脳のビッグデータ解析、全脳シミュレーションと脳型人工知能アーキテクチャ」
株式会社ドワンゴ

スケジュール

勉強会15:00-17:00　ハッカソン説明会 17:15-19:00

ゲスト講演1：「強化学習 もう一つの源流：分類子システム」

講演者：荒井幸代 先生（千葉大学）
概要： 2017年 MIT の 10 Breakthrough Technologies の一つとして取り上げられた強化学習も，AI同様，過去にも盛り上がりがありました．強化学習が再ブレークした背景には，ご存知のとおり Deep Neural Network という強力な非線形近似器との連携による深層強化学習 (DRL) の成功があります．これまでの強化学習のボトルネックであった高次元の入力と行動空間をカバーするタスクへの応用成果が次々と報告されています．しかし，実世界は易々とその成功を許すことなく，以下の３つの課題が昔見た壁として立ちはだかっています
1） temporal credit assignment with long time horizons,
2） sparse rewards, lack of diverse exploration, and
3） brittle convergence properties.
本講演では，1）に焦点をあて，強化学習の源流の一つである Classifier System における Credit assignment 法と，Actor-Critic との親和性を議論するための話題を提供します．

ゲスト講演2：「脳における強化学習」

講演者：太田宏之 先生（防衛医科大学校）
概要： 大脳基底核は、人工知能研究の文脈において、状態や行動の価値を表現・更新する強化学習の座として知られています。その一方で、医学のなかの神経学においては、大脳基底核は運動行動の制御を行う部位として古くから捉えられてきました。ドーパミン=TD誤差によって行動や状態の価値を更新する系としての大脳基底核と、運動行動を開始し、停止させる系としての大脳基底核という2つの見方は、一見すると相容れません。ところが近年、神経系の計測制御技術の発展に伴って、この２つの視座のあいだを取り持つような萌芽的な実験データが出始めて来ています。本講演では、大脳基底核研究の最新の知見を紹介し、運動行動と価値に関する脳内表現にかんする新しい理解のかたちを探ります。

運営スタッフ

委員長 ： 山川宏
登壇者調整：高橋達二／山川宏
受付： 長谷川一郎 、WBAIサポーターズ
写真・動画撮影：門前 一馬
司会： 山川宏
connpass： 長谷川一郎、藤井烈尚
会場担当： （当日）岡本洋、（予約）長谷川一郎

外部リンク

• 開催案内@connpass