概要
ChatGPTなどの大規模言語モデルの実用化にともない、自然言語で記述された論文内などから目的に応じて神経科学の知見を大量の公開情報から検索することが現実的となってきた。これは、神経科学の促進や、脳型ソフトウエアの設計データの蓄積に役立つ。しかしながら、実際にそれをおこなうためには、段階的にプロンプトをあたえるなどのノウハウが必要である。こうした取り組みは、神経科学研究だけでなく、特定分野における大規模言語モデルを活用する実例として広く参考になるであろう。そこで今回は、WBAIおよび学術変革「行動変容生物学」で進められている神経科学分野での大規模言語モデル適用について紹介するための勉強会を行う。
開催概要
- 日 時：2023年５月11日（木） （18:00～21:00）
- 会 場：オンライン（Zoom Meeting）
- 参加者：119名(うち学生33名)
- 主 催：NPO法人 全脳アーキテクチャ・イニシアティブ
- 共 催：学術変革領域研究「行動変容を創発する脳ダイナミクスの解読と操作が拓く多元生物学」
- 運 営：WBA勉強会実行委員会
講演スケジュール
| 時間 | 内容 | 講演者 |
|---|---|---|
| 17:55 | 開場 | |
| 18:00 | ご案内 | 司会者：近藤将史（東京大学） |
| 18:02 | 開会の挨拶 | 松崎 政紀（東京大学） |
| 18:07 | 趣旨説明（資料） | 山川 宏（全脳アーキテクチャ・イニシアティブ） |
| 18:15 | 講演1（資料） | 小島 武（東京大学） |
| 18:45 | 講演2（資料） | 芦原佑太（WBAI） |
| 19:15 | 休憩（10分） | ※ブレイクアウト・ルームでのフリートーク（任意参加） |
| 19:25 | 講演3（資料） | 中江 健（生命創成探究センター） |
| 19:55 | パネル・ディスカッション | 寺田晋一郎（東京大学）、 中江 健、芦原佑太、小島 武 |
| 20:40 | Closing Remark | 森岡 大成（実行委員長） |
| 20:43 | ネットワーキング・タイム | ※ブレイクアウト・ルーム（任意参加） |
| 21:00 | 終了 | ※終了後Gather.townでの懇親会を予定 |
大規模言語モデルにおけるプロンプトエンジニアリングの概説
講演者：小島 武（東京大学）
概要：近年ChatGPTに代表される大規模言語モデルにおいて飛躍的な精度改善が見られるが、その精度改善の一助となる手段としてプロンプトエンジニアリングが注目されている。プロンプトエンジニアリングとは、モデルから所望の出力を得るために最適な入力文を探索する作業である。プロンプトエンジニアリングは、パラメータを更新せずにモデルの挙動を変更できる点、限られたサンプル数（ゼロショットもしくはヒューショット）で有効である点、人間の解釈性が高いという点で、従来の深層学習の勾配法による最適化手法とは異なる特徴を持つ。大規模言語モデルは段階的な思考を必要とするような複雑なタスクにおいて有効であることが実証されているが、大規模言語モデルにおけるプロンプトエンジニアリングが、そのような複雑なタスクを解くためにどのように利用されているか最新事例にて解説した後、今後の限界と可能性について整理する。
神経科学文献からの解剖学的神経投射の抽出を行う大規模言語モデル
講演者：芦原佑太（WBAI）
概要：脳の解剖学的構造を知見として、脳型ソフトウェアを開発するアプローチに脳参照アーキテクチャ駆動開発（BRA駆動開発）がある。BRA駆動開発では、脳のメゾスコピックレベルの解剖学的構造を脳情報フロー（BIF）を参考に、計算機能を担う仮想的コンポーネント図（HCD）を作成する。これまで、BIFは神経科学の文献を専門家が読み取ることで、解剖学的に整合性のある知見を抽出し、データベース（WholeBIF）に記録してきたが、膨大かつ多様な知見を人の手によって網羅することは困難であり、BIFの抽出は自動化・効率化を進めていく必要がある。本講演では、大規模言語モデルを利用したBIF抽出の効率化に向けた取り組みについて紹介し、文献中から解剖学的神経投射と、その機能的な情報を抽出する方法について解説する。
大規模言語モデルは脳研究やデータベースをどう変えるか？
講演者：中江 健（生命創成探究センター）
概要：これまで革新脳と呼ばれるプロジェクトで脳科学のデータベースの構築と協力を行ってきました。しかしデータベースが知られること自体が難しいという問題に直面しています。今回は近年ChatGPTを中心に発展する大規模言語モデルから着想を得て、この情報バイアスを解決しさらに研究の自動化につながる提案をします。通常、脳科学のデータベースは画像などの非言語型のデータベースであり、直接検索することはできません。そのためメタデータといった付加情報を付与します。ただし、このメタデータは小さなテキストファイルとして検索やソフトウェアの読み込みのために利用されます。今回の提案では非言語データベースを機械的に言語化した新しい大規模言語メタデータを考えます。これにより、それぞれの非言語データベースに付随しそのデータベースを可能な限りアンバイアスに解釈した言語パッケージが構築されます。この言語パッケージをリンクを含めて大規模言語モデルに取り入れることで、大規模言語モデルのドメイン知識の取り込みとデータベースのアクセスが可能になると考えています。今回は、現在取り組んでいる簡単な試みに関して、失敗例とともに解説します。
運営スタッフ
- プログラム委員長：山川 宏（全脳アーキテクチャ・イニシアティブ）
- 実行委員長：森岡大成（実行委員会）
- 司会：近藤将史（東京大学）
- Zoomホスト：実行委員
- Zoom共同ホスト：実行委員
- connpass：西村由弥子（実行委員会）
- 広報/WBAI事務局：荒川 直哉（WABI）
- QAチャネル招待担当：西村由弥子（実行委員会）
- 学生招待担当：実行委員
English