G検定

ディープラーニングを含めて機械学習において精度の高い学習をするためには,観測データの適切な前処理が必須である.異なるスケールの特徴量を同時に扱えるようにするために,平均を 0 に分散を 1 に規格化する標準化や,特徴量の線形結合からデータ内...

自己符号化器はニューラルネットワークによる教師なし学習の代表的な応用であり,出力が入力に近づくようにニューラルネットを学習させる.主に次元削減のために利用されることが多く,活性化関数に恒等写像を用いた場合の 3 層の自己符号化器は主成分分析...

大規模なディープニューラルネットワーク（DNN）の学習では学習するべきパラメータ数が膨大となるため,処理の高速化が必要となる.2012 年に提案された分散並列技術であるDistBeliefや画像処理に特化したプロセッサのGPUは大規模なニュ...

ディープラーニングは,ニューラルネットワークを多層化したものであり,観測データから本質的な情報である特徴量を自動的に抽出できる点が特徴である.また,従来の機械学習手法と比べると,結果の解釈性・説明性に優れているという性質も持っている. ...

データが少量しかないなどの理由で、対象のタスクを学習させることが困難なときに、関連する別のタスクで学習し、その学習済みの特徴やパラメータなどを利用することで効率的に対象のタスクを学習することがある。これを転移学習という。

学習率の値は学習の進み方に大きな影響を与える。例えば、学習率が過度に小さいとコスト関数の高い局所的最適解から抜け出せなくなることがある。また、学習率が過度に大きいと、ネットワークの重みが発散することがある。学習率を学習が進むに連れて変化させ...

ニューラルネットワークは高い表現力を持つ反面、過学習をしやすいという性質を持つため、それを改善させる方法が多数考案されている。 例えば、学習の際に一部のノードを無効化するドロップアウト、一部の層の出力を正規化するバッチ正規化、データの...

リストワイズ除去 list-wise case deletion 欠損値があるデータの分析 Python+Pandasでリストワイズ削除とペアワイズ削除で欠損値に対処する話。 R 欠損値の対応（missing ...

DistBeliefとは？ 【論文シリーズ】Dist Beliefの仕組み Distbelief Large Scale Distributed Deep Networks 【TENSORFL...