コスト関数とは？

ニューラルネットワークは、ひとつひとつのニューロンが複数の入力と1つの出力を持っていて、入力に対する重み付けを行うために重み(weight)を持っていて、さらに出力をどうするか決めるために、1つのしきい値(bias)を持っています。
ニューラルネットワーク全体の重みとしきい値をランダムで決めたときに、それらを使ってはじき出した人工知能の回答が、実際の答えとどれくらい離れているかを計測するために使う関数だと書いてありました。
この関数の値をゼロに近づけていくことが、ニューラルネットワークにとっての学習ということになるみたいです。

仮説関数がトレーニングセットに近似すればするほど、良い予測モデルが手に入るということになる。したがって仮説関数をデータにフィットするようなパラメータθθを求める必要がある。

$$h\mathrm{\theta <!--\; \theta \; -->}(x)={\mathrm{\theta <!--\; \theta \; -->}}_0+{\mathrm{\theta <!--\; \theta \; -->}}_{1}x$$

コスト関数を使うことによって、仮説関数がどれくらいデータにフィットしているかの精度を測ることができる。コスト関数は、仮説関数で計算された予測結果と実際のデータの値yyの差を二乗して、その総和をデータの総数で割ることで計算される。つまり最小二乗法を使っている。
12m12mと2で割っているのはあとで行う微分の計算を楽にするためである。コスト関数は下に凸二次関数となるため、適当な係数を掛けても最小値は変わらないので問題ない。

$$J({\mathrm{\theta <!--\; \theta \; -->}}_0,{\mathrm{\theta <!--\; \theta \; -->}}_1)=\frac{1}{2m}\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}(h\mathrm{\theta <!--\; \theta \; -->}(x_i)-y_i{)}^2$$

機械学習における学習とは？ – MIIDAS Science Blog

research.miidas.jp