Residual Network(ResNet) とは

クラス分類の領域では,CNN という沢山の層を重ねて,深い階層構造をした手法によって研究が進められていて,従来の手法よりも精度の高い認識や分類が可能となった.しかし,沢山の層を重ねた結果,学習に用いられるパラメータの数が膨大となり,学習が上手く進まないという問題が生じていた.その問題を解決するために提案されたのがResNetである.ResNetは,入力層から出力層まで伝播する値と入力層の値を足し合わせたモデルで,この方法によって,入力層まで,勾配値がきちんと伝わり,今では 1000 層といったかなり深い構造でも学習が可能となった.実際,2015 年の ILSVRC でResNetは人間の成績を上回る成果をあげている

Residual Network(ResNet)の理解とチューニングのベストプラクティス

ImageNet2015で圧勝したResidual Network(ResNet)。層間で残差を足し合わせるというシンプルなアイデアでCNNは層を格段に深くして飛躍的に性能が向上した。

ResNetの仕組み from Kota Nagasato

画像の認識タスクでResNet1をベースにした手法が高い性能を示しています。
Deep Learningといっても、それまで十何層というネットワークだったものが、ResNetの登場により100層を超えたネットワークを作っても学習できるようになり、性能が上がったとされています。なぜResNetが高い性能を示すのかということを研究した論文を読んだので、概要を紹介します↓