1.概要
脳全体のアーキテクチャに学び汎用人工知能(AGI)の実現を目指す，全脳アーキテクチャ・アプローチにおいても，大脳新皮質のモデル化は最重要な要素となります． この際に，最速でAGIを実現するために，より粗いレベルでのモデルを優先的に扱おうとしています．よって近年進展の著しい人工ニューラルネットワーク(ANN)において，より新皮質の機能に近いモデルをウォッチしてきていました．
最近(本年5月)になり，ANNとしては新皮質モデルとしての性質をかなりよく反映したDeep Predictive Coding Networks (Deep PredNet)というモデルが発表されました．これはWBAアプローチにおける標準的な新皮質モデルとして採用しうる候補となりうるものであり，なおかつ，分散同期システムとしての動作が可能なため，将来的な大規模化にも期待が持てます．
そこで今回は，緊急にPredNetモデルを理解し実装するための研究会を12日に実施し，そこで次週19日に向けて，個人もしくはグループにてハッカソンを行い，その成果を持ち寄ろうという研究者／エンジニア向けの「研究ハッカソン」を企画しました．
主催： NPO法人全脳アーキテクチャ・イニシアティブ
オーガナイザー： 山川宏，中村政義，川崎邦将（ドワンゴ人工知能研究所）
2. Deep Predictive Coding Networks とは
ハーバード大学の計算論的生物学者であるDavid Cox ( http://www.coxlab.org/ )のプロジェクトからうまれた，新皮質の局所回路を定性的によく反映していると思われるANNモデルです．このプロジェクトは米国のIARPAという組織から ＄28million を獲得して脳型人工知能を目指しており，第13回全脳アーキテクチャ勉強会でコネクトームの発表を行った水谷氏も所属するプロジェクトです．
PredNetに関わる論文は．現在のところ二本公開されています．
- Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning
- 今回ターゲットとしている，Deep PredNetモデル．
- Unsupervised Learning of Visual Structure using Predictive Generative Networks
- 階層化される以前のモデル． 山川が参加したICLR2016においてポスター発表されていた．
PredNetモデルの特徴
PredNetモデルは，新皮質における一つの大きな理論仮説「Predictive Coding」に立脚していますが，そこさえ認めれば生物学的な妥当性は私の見る限り高いものと思えます．
- 階層性に対応している
- 分散処理システムに適した時間構造をもっている→大規模化に繋がる
- 教師なし学習ベースで段階的に構築可能である
- 脳に似た各層内の密な結合により時間予測（Predictive Cordingの立場）
- トップダウン信号が組み込まれている
さらに，このモデルの利点と思われる特徴に以下が有ります．
- 近年のANNにおいて定番のConvolutionとLSTMををベースにしている
- 未学習の段階でもDeep PredNetはある程度の性能が得られる
- 論文中の予測タスクの評価では，学習済みのDeep PredNetはLadder Netを超えている
- モジュール間の通信量を削減できる可能性がある：ボトムアップのエラー信号／トップダウンは予測信号は変化が無ければ送信する必要がない．
3.当日(6月12日＆19日)の予定
6月12日 13:30〜19:00 (コアタイム： 13：30〜15：00)
現状において新皮質の局所神経回路に近くかつ予測課題を実行できるANNモデルである，PredNetモデルについての理解を深め，動作可能な実装を作成し，できれば，そこからLIS等を用いた発展的な研究開発に進みたい．
PredNetモデルの開発状況次第で変更があるかもしれないが，現状では以下の様な予定を想定している．
- 13:30〜13:45 研究会＆ハッカソンの趣旨説明(山川)
- 13:45〜14:00 PredNetモデルの説明(山川)
- 14:00〜14:30 PredNetモデルの実装状況(川崎)
- 14:30〜15:00 全体フリーディスカッション（もしくは休憩）
- 15:00〜18:00 ミニハッカソン ＆ 次週に向けたテーマ設定
- 18:00〜19:00 次週にむけた活動予定発表
6月19日
参加者数に応じて会場を確保し，全日もしくは午後に行います．
最後に，成果物を３〜５分程度で発表頂く予定です．
4.準備状況と事前協力のお願い
ところでDeep PredNet自体のソースは公開されていません．このため，つい先週から，ドワンゴ人工知能研究所のインターン生である川崎邦将(M2)さんが，独力で論文を見ながら実装し，OPENにしようとしている最中です．
できればハッカソン当日はPredNetが動いている状態で臨みたいですが，この加速する世界においては，万全を期してから研究ハッカソンを企画するのは遅すぎるし，時間が惜しすぎる気がしています！
もちろん川崎さんは現在奮闘中ですが，もし，12日以前の準備段階からでも，いろいろな形でお助け頂ける方がいらっしゃると大変に助かります．
以上，皆様の，ご参加／協力をお待ちしております．
English