https://wba-initiative.org/wiki/ 2026-04-30T16:50:44+00:00 https://wba-initiative.org/wiki/ https://wba-initiative.org/wiki/_media/wiki:dokuwiki.svg text/html 2016-02-23T03:26:50+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:bp_mid?rev=1456198010&do=diff バックプロパゲーション中級者向け話題 盲目の登山家の喩えのとおり，自分が動けなくなる地点に達すると学習は終了します。この地点に達するまでに要する繰り返し計算を高速化する提案がなされています。 現在では確率的勾配降下法(Stochastic Gradient Descendent method:SGD)を用いない研究は皆無となりました。 SGD をさらに高速化する提案が AdaDelta, AdaGrad, Adam, Nestorev, RMSprop などです。 Caffe, Chainer, TensorFlow など既存のフレームワークでは，ほとんどの高速化手法を利用可能です。… text/html 2016-02-25T08:01:35+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:convnet?rev=1456387295&do=diff ConvNets 畳込みニューラルネットワーク(convolutional neural networks)のことです。イメージネット(ImageNet, 正式名称は ILSRVRC)が開催するコンテストでは，ほぼこのネットワークです。公式ページから２０１５年度の参加チームのプロフィールを閲覧できます。それによれば，明確にConvNetsでは text/html 2016-02-16T05:52:12+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:gru?rev=1455601932&do=diff GRU GRU を直訳するとゲート付きリカレントネットワークとなります。GRU のゲートは２つです。LSTM のセルへのゲートとセルから次の時刻のセルの状態へ向かうゲートです。ゲートには入力，ゲートそのものへの入力，もう一つのゲートからの入力とがあるので３倍の入力が必要です。２つゲートがあるので，合計６倍の結合係数を必要とします。 text/html 2016-12-02T05:41:35+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:lstm?rev=1480657295&do=diff LSTM LSTM は直訳すると「長い短期記憶」となります。長い？短い？どっちなの？と迷いますが，短期記憶とはすぐに忘却してしまうようなその場限りの記憶です。短期記憶の影響を長期に渡って保持する能力を持つ text/html 2016-03-22T04:37:04+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:lstm%E4%BB%A3%E6%9B%BF%E6%A1%88?rev=1458621424&do=diff LSTMとは 概要 LSTMは、1997年に Sepp Hochreiter と Jürgen Schmidhuberによって提唱されたリカレントニューラルネットワークのアーキテクチャーです。単純なリカレントニューラルネットワークと同様に、ニューラルネットワークでは扱いが難しかった時系列データ（文章、音声、映像）に対して有効な手法です。単純なリカレントネットワークでは長期的な依存関係を学習できない問題を回避しています。… text/html 2016-02-22T20:54:16+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:lst%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6%E3%81%AE%E4%B8%AD%E7%B4%9A%E8%80%85%E5%90%91%E3%81%91%E8%A9%B1%E9%A1%8C?rev=1456174456&do=diff LSTM 中級者向け話題 ゲートの種類 どちらのゲートも非線形な変換ですが，シグマの方はロジスティック関数 f(x)=(1+exp(-x)^{-1},です。ｇとｈはハイパータンジェント tanh(x) です。 どちらの関数もｓ字状曲線です。ロジスティック関数の方が値域が狭く0 =<f(x) =< 1 です。一方ハイパータンジェントは -1 =< tanh(x) =< 1で２倍に広がっています。大事なのは，ハイパータンジェントの方が原点(0,0)を通ることです。一方ロジスティック関数はマイナス無限大でしか0になりません。… text/html 2016-02-23T01:18:49+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:r-cnn?rev=1456190329&do=diff R-CNN R-CNN (Regios with Convolutional Neural Networks) は直訳すれば，領域切り出し付き畳み込みニューラルネットワークとなります。 画像認識では，画像を小領域に分割して，分割した領域ごとに畳み込みニューラルネットワークによる認識を行うことが行われます。 領域の切り出しには矩形（画像の中の左上と右下をの点を指定する四角形など）領域が用いられる場合が多いです。 どのように領域を切り出すのか，切り出し方によって認識性能も変わってきます。 ですので関心領域の切り出しは，認識性能を高めるためのポイントとなります。 ２０１４年までは既存手法によって関心領域を切り出し，その領域を畳み込みニューラルネットワークに送ることが行われてきました。そのため計算時間のかかる処理でした。ですが領域の切り出しと認識とを同時に行う Fast RCNN が提案され，この分野のブレークスルーとなりました。 さらに高速な Faster RCNN も提案され，ほぼ実時間で領域切り出しを行うことができるようになりました。… text/html 2016-02-23T01:39:52+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:rcnn_midclass?rev=1456191592&do=diff R-CNN 中級者向け話題 Fast R-CNN も Faster R-CNN もあらかじめ訓練された事前訓練データをファインチューニングしています。事前訓練は Caffe で配布されている AlexNet の caffemodel でした。 Faster R-CNN では，特徴ベクトルの抽出と関連領域の矩形切り出しとを同時に行ないます。下図を参照してください。 text/html 2016-02-23T01:45:34+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:src_mid?rev=1456191934&do=diff SRN 中級者向け ミコロフの用いたデータセットはペンツリーバンク(PTB)データセットです。 PTB データセットはChainerでもTensorFlow でもサンプルコード用のデータとして使用されています。 text/html 2016-03-02T03:52:01+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%82%A2%E3%83%88%E3%83%A9%E3%82%AF%E3%82%BF?rev=1456890721&do=diff アトラクタ(attractors) 図や数式がないと説明しづらいですが，力学系において，ある初期値の範囲が収束する領域をアトラクタと呼びます。また，力学系が収束する場合アトラクタを持つと呼びます。数学，および，生物学でおおまかに言えば，平衡(equibrium)の概念に対応します。 text/html 2016-12-16T06:09:45+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%82%A8%E3%82%B3%E3%83%BC%E3%82%B9%E3%83%86%E3%83%BC%E3%83%88%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF?rev=1481868585&do=diff エコーステートネットワーク エコーステートネットワークでは，中間層ニューロン同士の結合に疎な結合を仮定します。 中間層内部での疎結合により，入力が与えらえると，中間層内部では情報の往来が始まります。内部で情報の行き来を情報が反響する，こだまする（echo)ことからエコーステートと呼ばれます。Reservoir Computing、Liquid State Machine とも呼ばれます。 text/html 2016-02-16T05:02:28+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%82%B9%E3%82%AD%E3%83%83%E3%83%97%E3%82%B0%E3%83%A9%E3%83%A0?rev=1455598948&do=diff スキップグラム スキップグラムとはミコロフ（トーマ・ミコロフ）が開発した単語を意味空間へと写像するモデル，あるいはプログラムの名前です。 プロジェクト名がスキップグラムでプログラムの名前がワード２ベックです。 text/html 2016-02-18T01:46:57+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%83%89%E3%83%AD%E3%83%83%E3%83%97%E3%82%A2%E3%82%A6%E3%83%88?rev=1455760017&do=diff ドロップアウト 日本語では「落ちこぼれ」の意味があるので良い響きの言葉ではありませんが，機械学習の専門用語としては汎化性能の向上につながるので，良い響きの言葉です。訓練した情報を敢えて使わないこと指します。どの情報を使わないのかを，あらかじめ定めません。どれを使ってどれを使わないかはその時にコインを投げて，表と裏とで判断します。その方が良い場合もあります。敢えて情報は全部使わない。どの情報も偏りなく使ったり，使わなかったりする，これがドロップアウトです。 ドロップアウトの確率を１００％にしてしまうと完全に無知，学習していないのと変わりません。０％だと全部の情報を使います。… text/html 2017-06-18T13:37:02+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF?rev=1497793022&do=diff ニューラルネットワーク 動物の神経系が電気信号によって情報のやりとりをしていることが前提となります。古くはイタリアのガルバーニがカエルの足の筋肉を電気的に刺激すると筋肉の収縮が起こったことから、動物の運動制御には電気信号が用いられると考えられてきました。近代的な意味では、ゴルジが細胞染色法を開発し、脳内の構成要素が細胞であることが明らかになってからです。脳内の情報処理に係る細胞をニューロンと呼ぶようになりました。脳内には直接情報処理に関わらない種類の細胞もあります。現在主流となっている考えでは、ニューロンが情報処理の基本単位であることになっています。このことは人間のみならず、神経系を持つすべての生物に当てはまります。中枢神経系を持たない棘皮動物でさえ、同様の処理機構を持ちます。ニューロンが複数集まってニューロンのネットワークを構成します。ですので最小のニューラルネットワークは２つのニューロンから構成されます。ニューロン同士のつながりをシナプスと呼びます。２つのニューロンは細胞ですので細胞壁に囲まれています。従ってつながり部分のシナプスには細胞膜によって隔てられた狭間があります。この狭… text/html 2016-02-16T05:05:39+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF%E6%A9%9F%E6%A2%B0%E7%BF%BB%E8%A8%B3?rev=1455599139&do=diff ニューラルネットワーク機械翻訳 機械翻訳のうち統計的機械翻訳を SMT, ニューラルネットワークモデルによる機械翻訳を NMT と略記する習慣があります。 機械翻訳の精度を測る指標に BLEU やパープレキシティなどがあります。これらの指標で最近まで NMT は SMT に歯が立ちませんでした。 NMT が性能を向上させてきたのは最近になってです（２０１４年くらい）。LSTM を用いた翻訳モデルが主流です。 シーケンス２シーケンスというモデルが有名です。… text/html 2016-02-18T01:22:56+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%83%91%E3%83%BC%E3%82%BB%E3%83%97%E3%83%88%E3%83%AD%E3%83%B3?rev=1455758576&do=diff パーセプトロン パーセプトロンはニューラルネットワーク初期に提案されたモデルです。1950年代に提案されました。知覚を意味するパーセプトと機械を意味する接尾辞をつけてパーセプトロンです。パーセプトロンは知覚をする、あるいは認識を行う機械のことです。人間がプログラムを作りこむのではなく、学習機構を持っていて自動的に知覚を行うことができる、学習する機械の原型です。… text/html 2016-02-18T01:52:26+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB?rev=1455760346&do=diff はじめに 機械学習（マシンラーニング）には大きく分けて４つの下位分類があります。それは * 回帰 * 分類，判別 * クラスタリング * 次元縮約 です。他にも数多くの手法が提案されていますが、まずは上記の４つの分類に従って、データを処理するには、どうすればよいのかを考えることにします。 text/html 2016-02-23T03:21:57+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%83%90%E3%83%83%E3%82%AF%E3%83%97%E3%83%AD%E3%83%91%E3%82%B2%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3?rev=1456197717&do=diff バックプロパゲーション 日本語では誤差逆伝搬法と呼びます。情報の流れを順方向、学習に必要な誤差の流れを逆方向と言います。 出力信号と教師信号との2乗誤差を最小化するというアイデアは，ガウスの最小二乗法からの考えを引き継いでいるとみなすことができます。ガウスの最小二乗法と異なる点は，近似する関数のパラメータ数が決められていないので解析的に解ける保証がない点にあります。 解析的に解けるのであれば，誤差の自乗和をパラメータで微分して0とおいてその方程式を解けば良いことになります。… text/html 2016-02-25T07:24:35+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%83%99%E3%82%A4%E3%82%B8%E3%82%A2%E3%83%B3%E3%82%B0%E3%83%A9%E3%83%95?rev=1456385075&do=diff ベイジアングラフ 確率変数間の関係をグラフで表現し，変数間の依存関係を条件付確率とみなすモデルのことです。 参考文献 * J. Pearl, Probabilistic reasoning in intelligent systems , Morgan Kaufmann (1988). text/html 2016-02-18T01:19:52+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%83%98%E3%83%83%E3%83%96%E3%81%AE%E5%AD%A6%E7%BF%92%E5%89%87?rev=1455758392&do=diff ヘッブの学習則 シナプスの伝導効率の変化を定式化したモデルにヘッブの学習則、あるいはへビアンルールがあります。シナプス間隙の前、すなわち情報を送信する側のニューロンをシナプス前ニューロンと呼びます。情報を受け取る側のニューロンをシナプス後ニューロンと呼びます。ヘッブの学習則とはシナプス前ニューロンが活動した時にシナプス後ニューロンも活動したとすると、そのときのシナプスの伝導効率が少しだけ向上することを指します。… text/html 2016-02-23T19:26:32+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%83%9B%E3%83%83%E3%83%97%E3%83%95%E3%82%A3%E3%83%BC%E3%83%AB%E3%83%89%E3%83%A2%E3%83%87%E3%83%AB?rev=1456255592&do=diff ホップフィールドモデル 1980年代後半に物理学者ホップフィールドと同僚たちによって提案された，非階層型ニューラルネットワークの一つをホップフィールドモデル，あるいはホップフィールドネットワークと呼びます。 ホップフィールドモデルによって text/html 2016-04-02T16:45:30+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%83%9E%E3%83%AB%E3%83%81%E3%82%BF%E3%82%B9%E3%82%AF%E5%AD%A6%E7%BF%92?rev=1459615530&do=diff c.f. マルチ○○学習まとめ text/html 2016-04-27T21:12:01+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E3%83%AA%E3%82%AB%E3%83%AC%E3%83%B3%E3%83%88%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF?rev=1461791521&do=diff カレントニューラルネットワーク ロボット制御，自動運転，音声認識，自然言語処理，は系列データ，時系列情報処理，時系列予測を考えるときリカレントニューラルネットワークが候補になります。制御工学の文脈ではカルマンフィルタ(Kalman lters) や隠れマルコフモデル(hidden Markov models) なども用いられてきました。リカレントニューラルネットワークはこれらの従来手法の代替案です。たとえば音声認識において，深層学習とリカレントニューラルネットワークとを組み合わせることで，手工芸的な前処理を必要とせず，認識性能が向上しました。リカレントニューラルネットワークに関する最近の総説論文としては，Lipton, Berkowitz, & Elkan (2015) や，Jozefowicz, Zaremba, & Sutskever (2015) があげられます… text/html 2016-02-23T19:36:30+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E9%81%8E%E5%AD%A6%E7%BF%92?rev=1456256190&do=diff 過学習 英語では over-fitting あるいは over learning と呼びます。 訓練データに対して過適合すると，他のデータ集合に対する性能が落ちることがあります。システムの汎化性能の向上のためには学習のし過ぎは害になる場合があります。提示されたデータに対処するために，一般性を失ってしまう場合に相当します。 text/html 2016-02-18T02:33:52+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%81%AE%E6%AD%B4%E5%8F%B2?rev=1455762832&do=diff 機械学習の歴史 初めて機械学習という言葉が使われたのは1950年代、すなわちコンピュータの黎明期です。当時と現在とでは時代背景が異なるため、現在と同じ意味で用いられたとは限りませんが、文献によれば機械学習という言葉は半世紀以上の歴史があります。 text/html 2016-02-18T02:07:32+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E8%A8%98%E6%86%B6%E6%A6%82%E8%AB%96?rev=1455761252&do=diff 記憶概論 形状記憶シャツにも記憶という言葉が使われますが，過去の出来事を何らかの手段で保持していれば全て記憶です。ある状況に置かれたシステムは，その状況の痕跡をどこかに保っていることに相当します。この痕跡を記憶痕跡と呼びます。何度でも書き換え可能な記憶と，一度だけの記憶もあります。 情報という言葉で記憶を整理すれば，記憶の容量，保存方法，時間的な範囲，転送速度などが問題になります。 一方，経験や状況という言葉で記憶を整理すれば，体験によって次の行動を変化させる意味になります。… text/html 2016-02-18T01:48:26+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E8%A8%98%E6%86%B6%E5%88%86%E9%A1%9E?rev=1455760106&do=diff 記憶分類 まずは，記憶の分類に際して使われてきた言葉を列挙します。長期記憶，短期記憶，超短期記憶，ワーキングメモリ(作業記憶)，意味記憶，手続記憶，自叙伝的記憶，連想記憶。 記憶に関連する神経心理学的症状には，健忘症，視覚失認，文字失認，相貌失認，表情失認，町並失認，逆行性健忘，順行性健忘，記憶喪失，失語症，失行症などがあります。症例ごとに細かい下位分類を行う場合も多く，失語症には，ブローカ失語，ウィルニッケ失語，ゲシュビンド失語，超皮質性失語，などが挙げられます。… text/html 2016-12-02T06:06:04+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92?rev=1480658764&do=diff 強化学習 機械学習の文脈での強化学習と，心理学の文脈での強化学習とでは，毛色が異なります。 前者は後者の実験成果を元に発展した手法ではありますが，現在では異なる分野となっています。 text/html 2016-12-02T05:29:16+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E6%95%99%E5%B8%AB%E3%81%82%E3%82%8A%E5%AD%A6%E7%BF%92%E3%83%BB%E6%95%99%E5%B8%AB%E3%81%AA%E3%81%97%E5%AD%A6%E7%BF%92?rev=1480656556&do=diff 教師あり学習・教師なし学習 * 教師あり学習 * 教師なし学習 * 半教師あり学習 (semi-supervised learning) * 半教師あり学習 SlideShare by 吉田康久さん text/html 2016-12-02T05:34:40+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E5%8B%BE%E9%85%8D%E9%99%8D%E4%B8%8B%E6%B3%95?rev=1480656880&do=diff 勾配降下法 * 最急降下法 (Steepest Gradient Descent Methods) * 確率的勾配降下法 (Stochastic Gradient Descent) 参考：勾配降下法の最適化アルゴリズムを概観する text/html 2016-04-01T02:31:32+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E5%86%8D%E5%B8%B0%E5%9E%8B%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF?rev=1459477892&do=diff 再帰型ニューラルネットワーク ＝リカレントニューラルネットワーク (RNN: recurrent neural networks) リカレントニューラルネットワークとはフィードバック結合を持つニューラルネットワークモデルを指します。 text/html 2016-08-19T10:57:23+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E5%8F%82%E8%80%83%E6%96%87%E7%8C%AE?rev=1471604243&do=diff 機械学習の参考文献 <todo>どなたか機械学習の参考文献の加筆をして下さい。</todo> 書籍 * 機械学習プロフェッショナルシリーズ by 講談社サイエンティフィク Webサイト * 朱鷺の杜Wiki * 現在のDNNにおける未解決問題 by 岡野原大輔 (2016-05-20) 論文 * text/html 2016-12-02T05:35:42+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E8%87%AA%E5%B7%B1%E7%B5%84%E7%B9%94%E5%8C%96?rev=1480656942&do=diff 自己組織化 生命現象（遺伝子の発現とか）や複雑系の文脈で使われる自己組織化と、機械学習の文脈で使われる自己組織化は異なります。ニューラルネットワークの文脈ではコホネンの text/html 2016-02-18T01:42:13+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E7%95%B3%E3%81%BF%E8%BE%BC%E3%81%BF%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF?rev=1455759733&do=diff 畳み込みニューラルネットワーク 画像認識，音声認識などで主流になっているモデルです。２０１５年１２月にアナウンスされた大規模画像認識コンテストで正式に人間の認識性能を越えました。 人間超えしたモデルは大きく分けて特徴抽出部分と認識部分に別れますが，特徴抽出部分は１５０層の畳込みニューラルネットワークでした。 層の数は多ければ良いというものじゃない，人間の脳だって沢山の層があるわけではないし，と思っていた人もいました。ですが，２０１５年の結果は多ければ良いというものでした。ですが少し工夫があります。それは残差ネットと呼ばれるブロック構造です。簡単に言うとショートカット（近道）があるネットワークを使います。3層おきに近道するので近道が50回ありました。3層のブロックに近道１つを５０回繰り返すと１５０層になります。一番最初の層と一番最後の層は入出力の調整なので近道なしでした。… text/html 2016-02-23T19:08:05+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E7%A5%9E%E7%B5%8C%E4%BC%9D%E9%81%94%E7%89%A9%E8%B3%AA?rev=1456254485&do=diff 神経伝達物質 グルタミン酸，GABA といった伝達物質に加えて，ドーパミン，セロトニン，ノルアドレナリン，アセチルコリン，などの神経修飾物質が知られています。 銅谷は神経修飾物質が学習のメタパラメータの制御に関与するという仮説を提案しています。 これによれば， text/html 2016-03-02T03:35:15+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E4%BA%BA%E5%B7%A5%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF?rev=1456889715&do=diff 人工ニューラルネットワーク 人工ニューラルネットワーク(artificial neural networks: ANN)の反対語は生物学的ニューラルネットワーク(biological neural networks: BNN)です。 人工ニューラルネットワークは，生物学的ニューラルネットワークを基礎にしていますが，神経（ニューロン）そのものを模したモデルというよりも，その神経で行われる処理や計算の流れを模して表現したモデルです。 生理学では，実験上 in vivo, in vitro が区別されます。これに対して人工ニューラルネットワークは in slico と呼ばれることもあります。in vivo, vitro, silico の相違については下記の外部サイトを参照してください。… text/html 2016-12-02T06:12:00+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E5%88%B6%E9%99%90%E3%83%9C%E3%83%AB%E3%83%84%E3%83%9E%E3%83%B3%E3%83%9E%E3%82%B7%E3%83%B3?rev=1480659120&do=diff 制限ボルツマンマシン 制限ボルツマンマシンのネットワークは多層パーセプトロンと同じようにいくつかの層からなります。結合は層間にはありますが、層内にはありません。 制限ボルツマンマシンでは、コントラスティブダイバージェンス contrastive divergence と呼ばれる学習アルゴリズムを用いて高速な学習が可能です。 text/html 2016-02-23T02:53:31+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E5%8D%98%E7%B4%94%E5%86%8D%E5%B8%B0%E5%9E%8B%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF?rev=1456196011&do=diff 単純再帰型ニューラルネットワーク 単純再帰型ニューラルネットワークとは，初期に提案された２つモデルを指します。ジョーダンネットワークとエルマンネットワークと言います。 text/html 2016-05-25T03:13:07+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E8%BB%A2%E7%A7%BB%E5%AD%A6%E7%BF%92?rev=1464145987&do=diff 転移学習 転移学習 transfer learning とは，あらかじめ別の訓練データを用いて学習を行わせたモデルに対して，新たに別の課題を学習させる場合を指します。 ゼロから学習する場合に比べて，先行する学習経験が後続する学習に影響を与える場合があります。 text/html 2016-05-25T03:04:18+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E7%B5%B1%E8%A8%88%E5%AD%A6%E7%BF%92?rev=1464145458&do=diff 統計学習 統計学習 statistical learning と機械学習 machine learning とは紛らわしい言葉です。 二つの用語の使い分けとしては，機械学習を実装するときに統計学習の手法を使うことがあります。 すなわち，機械学習を実現するための一つの手法として統計学習があります。 代表的な統計学習としては，隠れマルコフモデル hidden Markov model や条件確率場 conditional random filed，予測に用いられるカルマンフィルター Kalman filter などが統計学習に含まれます。… text/html 2016-02-18T02:24:50+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E7%8B%AC%E7%AB%8B%E6%88%90%E5%88%86%E5%88%86%E6%9E%90?rev=1455762290&do=diff 独立成分分析 (ICA) 、位相的独立成分分析 (TICA) 開発者は Oja さんで，日本語だとオジャとかオヤと表記されます。信号処理に起源を持ちますが，入力信号が複数の信号源から発せられた信号であると考えると，各信号源からの情報は互いに無関係であるという仮定を使って，信号を分離する手法です。 text/html 2016-02-18T02:08:11+00:00 Anonymous (anonymous@undisclosed.example.com) https://wba-initiative.org/wiki/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92:%E9%80%A3%E6%83%B3%E8%A8%98%E6%86%B6?rev=1455761291&do=diff 連想記憶 古くはホップフィードのネットワーク，中野のアソシアトロンも連想記憶の仲間です。