G検定の要所を簡単にまとめました

G検定

G検定の要所を簡単にまとめました

バッチ正規化 … 一部の層の出力を正規化する.
ドロップアウト … 学習の際に一部のノードを無効化する.
データ拡張 … データの水増しをしてデータの不足を補う.
L2正則化 … パラメータのノルムにペナルティを課す.

GANは生成ネットワーク,識別ネットワークの二つを競い合わせることで生成モデルを獲得する.
画像生成分野でよく使用される.

GAN:敵対的生成ネットワークとは何か ~「教師なし学習」による画像生成 - アイマガジン|i Magazine|IS magazine
     近年、いわゆるAI を構成する要素技術として機械学習の発展が著しい。とくにディープラーニングはその火付け役であり、画像分類、物体検出、セグメンテーションなどの画像領域をはじめ、自然言語処理、

汎化誤差を下げるためには正則化が用いられることが多い。
正則化とは損失関数の値とともにモデルのパラメータの二乗和を最小になるように学習することで、パラメータが小さくなり過学習の対策となる。

複数のモデルを使用し、全体の汎化性能をあげる手法をアンサンブル学習と呼ぶ。

【入門】アンサンブル学習の代表的な2つの手法とアルゴリズム
目次1.あらすじ2.アンサンブル学習の有効性とは?3.バギングとは?4.ブースティングとは?AdaBoost 1.あらすじ 人工知能ブームがどんどん加速する中、ニューラルネット、SVM、ナイーブベーズ等、様々な機械学習の ...

ディープラーニングではドロップアウトを使って汎化性能を向上させている。
汎化とは、様々な異なる対象に共通する性質や、共通して適用できる法則などを見出すこと。一般化、普遍化ともいう。対義語は特化(specialization)あるいは特殊化。

ディープラーニングを支える黒魔術「ドロップアウト」
「機械学習」の分野で、大きなブレイクスルーを起こしたという「ディープラーニング」。しかし、ディープラーニングには「過学習」という弱点があると山本一成さんは指摘します。これは人間に例えると「どんな問題も丸暗記で解こうとする応用の利かない人」のようなもの。この弱点を避けるためにはどうすればいいのでしょうか。

正則化にはL1正則化であるLasso正則化と、L2正則化であるRidge正則化の二種類が存在する。L1正則化を使用するとスパースになる。

https://www.techcrowd.jp/machinelearning/regularization/

ディープニューラルネットワークにおいて層が深いと、誤差逆伝播法のときに誤差がどんどん小さくなり学習が収束しない問題がある。これを勾配消失問題と呼ぶ。

勾配消失問題 | AI研究所
勾配消失問題とは 勾配消失問題とは、機械学習手法のひとつであるニューラルネットワークの設計において、勾配が消失

勾配消失問題はモデルのパラメータの初期値に対して依存する。モデルを事前学習させることで安定した学習が可能となり、勾配消失問題を克服できると考えられる。

正規化線形関数はReLU関数とも呼ばれ、微分値が0以上の場合はそのままの値、0以下の場合は0となる。
この性質により誤差逆伝播の際に、重みが小さくなるのを防ぐことができる。

活性化関数のまとめ(ステップ、シグモイド、ReLU、ソフトマックス、恒等関数) - Qiita
ゼロから作るDeep Learning 活性化関数とは 活性化関数は、入力信号の総和がどのように活性化するかを決定する役割を持ちます。これは、次の層に渡す値を整えるような役割をします。 一般的に、 「単純パーセプトロン...

大規模なニューラルネットワークを学習すると、ある層の入力がそれより仮想の学習が進むにつれて変化してしまうことがある。これにより学習が止まってしまうことが考えられる。このことを内部共変量シフトと呼ぶ。

Batch Normalization:ニューラルネットワークの学習を加速させる汎用的で強力な手法
ネットワーク内部の共変量シフトを抑えて、ニューラルネットワークの学習を加速させるBatch Normalizationについての解説と実装・効果検証しました。

内部共変量シフトの対策はバッチ正規化が使用される。各層で出力を正規化することで、層が深くなっても入力の分布の変化が少なくなると考えられる。

プーリングは周りの平均値で圧縮する平均プーリング、周りの最大値で圧縮する最大プーリング、周りの値をp乗しその標準偏差をとるLpプーリングなどが存在する。

【入門者向け解説】プーリング処理入門(TensorFlowで説明) - Qiita
入門者向けに「プーリング」処理について解説 TensorFlowエキスパート向けチュートリアルDeep MNIST for Expertsを実行して、「畳み込み」と同様にわかりにくいのが「プーリング」処理でした。畳み込みと同様に...

ハイパーパラメータは学習をする前に人手で設定しなければいけないパラメータのことを指す。

ハイパーパラメータ自動最適化ツール「Optuna」公開 - Preferred Networks Research & Development
ハイパーパラメータ自動最適化フレームワーク「Optuna」のベータ版を OSS として公開しました。この記事では、Optuna

G検定に役立つ用語集

タイトルとURLをコピーしました