![](https://i0.wp.com/datumstudio.jp/wp-content/themes/datumstudio/img/common/ogp_01.jpg?resize=160%2C90&ssl=1)
TensorFlowで積層自己符号化器を用いた事前学習を実装してみた | DATUM STUDIO株式会社
![](https://i0.wp.com/xtech.nikkei.com/atcl/learning/lecture/19/00073/00001/topm.jpg?resize=160%2C90&ssl=1)
図3●積層オートエンコーダ
ディープラーニングを十分に理解するには、学ぶべきことが多くある。それぞれの詳細な解説は専門書などに任せるとして、本講座ではG検定の受験勉強を進める上で重要なキーワードやトピックを紹介していく。
オートエンコーダは可視層と隠れ層の2層からなるネットワーク
可視層は入力層と出力層がセットになったもので、入力と出力が同じになるニューラルネットワーク
オートエンコーダは入出力が同じになるニューラルネットワークで、数字の5を入力すると出力も5となる
この学習により、隠れ層には入力の情報が圧縮されたものが反映されることになる
この注意点は入力層(可視層)の次元よりも、隠れ層の次元を小さくしておくこと
こうすることで入力層の次元から、隠れ層の次元まで圧縮(要約)される
![](https://i0.wp.com/resource.video.nimg.jp/web/scripts/niconico_tmp/static/ReKariOGP.png?resize=160%2C90&ssl=1)
ニコニコ動画(Re:仮)
積層オートエンコーダでは、
入力層に近い層から順番に学習させるという、逐次的な方法をとった
・例えば
一つ目のオートエンコーダAにて、可視層→隠れ層→可視層の学習をし、重みの調整を行う。次に、オートエンコーダAの隠れ層をオートエンコーダBの可視層として利用する。可視層(オートエンコーダAの隠れ層)→隠れ層→可視層
順番に学習していく
それぞれの隠れ層の重みが調整されるので、全体で見ても重みが調整されたネットワークができる。
このオートエンコーダを順番に学習していく手順の事を「事前学習」と呼ぶ
![](https://i0.wp.com/qiita-user-contents.imgix.net/https%3A%2F%2Fcdn.qiita.com%2Fassets%2Fpublic%2Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png?resize=160%2C90&ssl=1)
G検定メモ⑩ ディープラーニング編 - Qiita
G検定の勉強中にメモした走り書きを公開するよ。やっとディープラーニングにたどり着いたよ。まっててね、バーニーおじさん!#5-1 ニューラルネットワークとディープラーニング##1.ディープラーニ…