【G検定】ディープニューラルネットワーク（DNN）の学習

大規模なディープニューラルネットワーク（DNN）の学習では学習するべきパラメータ数が膨大となるため,処理の高速化が必要となる.2012 年に提案された分散並列技術であるDistBeliefや画像処理に特化したプロセッサのGPUは大規模なニューラルネットワークの学習を実現するために利用されてきた.また,大規模なニューラルネットワークの学習が困難となる原因の一つとして,ある層の入力がそれより下層の学習が進むにつれて変化する内部共変量シフトがある.内部共変量シフトを防ぐために出力値の分布の偏りを抑制するバッチ正規化が 2015 年に提案されている.