AI 勾配消失問題
ディープニューラルネットワークにおいて層が深いと、誤差逆伝播法のときに誤差がどんどん小さくなり学習が収束しない問題がある。これを勾配消失問題と呼ぶ。 ディープニューラルネットワーク（DNN）の普及に貢献した一つの要素に,勾配消失問題を克服す...
G検定
AI 
AI 学習率の値とコスト関数
学習率の値 学習率の値は学習の進み方に大きな影響を与える.例えば,学習率が過度に小さいとコスト関数の高い局所的最適解から抜け出せなくなることがある.また,大域的最適解に向かって収束している場合でも,学習率が大きいと,収束は速いがコスト関数の...
AI ニューラルネットワーク
ニューラルネットワーク ニューラルネットワークは高い表現力を持つ反面,過学習をしやすいという性質を持つため,それを改善させる方法が多数考案されている.例えば,学習の際に一部のノードを無効化するドロップアウト,一部の層の出力を正規化するバッチ...
AI アダマール積
AI sigmoid関数
G検定 ディープラーニングを利用した研究成果
自然言語処理の研究においても,ディープラーニングを利用した研究が目立ちつつあるが,その成果は分野においてまちまちである. 例えば,機械翻訳 や画像説明文生成においては大幅な性能向上が見られる一方で,構文解析や意味解析のように連続的な精度向上...
G検定 ディープラーニングを含めて機械学習において精度の高い学習をするために
ディープラーニングを含めて機械学習において精度の高い学習をするためには,観測データの適切な前処理が必須である.異なるスケールの特徴量を同時に扱えるようにするために,平均を 0 に分散を 1 に規格化する標準化や,特徴量の線形結合からデータ内...
G検定 【G検定】自己符号化器
自己符号化器はニューラルネットワークによる教師なし学習の代表的な応用であり,出力が入力に近づくようにニューラルネットを学習させる.主に次元削減のために利用されることが多く,活性化関数に恒等写像を用いた場合の 3 層の自己符号化器は主成分分析...
G検定 【G検定】ディープニューラルネットワーク（DNN）の学習
大規模なディープニューラルネットワーク（DNN）の学習では学習するべきパラメータ数が膨大となるため,処理の高速化が必要となる.2012 年に提案された分散並列技術であるDistBeliefや画像処理に特化したプロセッサのGPUは大規模なニュ...
G検定 【G検定】ディープラーニング
ディープラーニングは,ニューラルネットワークを多層化したものであり,観測データから本質的な情報である特徴量を自動的に抽出できる点が特徴である.また,従来の機械学習手法と比べると,結果の解釈性・説明性に優れているという性質も持っている.