ドロップアウト

日本語では「落ちこぼれ」の意味があるので良い響きの言葉ではありませんが，機械学習の専門用語としては汎化性能の向上につながるので，良い響きの言葉です。訓練した情報を敢えて使わないこと指します。どの情報を使わないのかを，あらかじめ定めません。どれを使ってどれを使わないかはその時にコインを投げて，表と裏とで判断します。その方が良い場合もあります。敢えて情報は全部使わない。どの情報も偏りなく使ったり，使わなかったりする，これがドロップアウトです。ドロップアウトの確率を１００％にしてしまうと完全に無知，学習していないのと変わりません。０％だと全部の情報を使います。

2015年になって，バッチ正規化を用いればドロップアウトは不要だという意見も出ています。今後慎重な議論が必要です。畳み込みニューラルネットワークの項も参照してください。

ドロップアウトを用いる代わりにバッチ正規化という技法を用いる提案がなされています。