過学習
過学習とは、機械学習モデルが訓練データに過度に適合してしまい、未知のデータに対する一般化性能が低下する現象のことです。[1][2]
## 過学習の原因
– モデルが訓練データの細かいノイズやデータ固有の特徴までモデル化してしまう
– モデルの複雑さが高すぎる
– 訓練データが少ない
## 過学習の問題点
– 訓練データに対する適合度は高いが、未知のデータに対する予測精度が低下する
– データ全体の傾向をつかめず、ノイズに過剰に反応してしまう[1]
## 過学習に気づく方法
– 訓練データと検証データ、テストデータに分けて評価する[1]
– 学習曲線を描き、訓練データと検証データの損失の乖離を確認する[1]
– 交差検証を行い、検証データに対する一般化性能を確認する[1]
過学習が発生すると、モデルの予測性能が低下するため、過学習に気づき適切な対策を講じることが重要です。
Citations:
[1] https://data-viz-lab.com/overfitting
[2] https://shoblog.iiyan.net/overfitting/
[3] https://www.nri.com/jp/knowledge/glossary/lst/ka/overfitting
[4] https://e-words.jp/w/%E9%81%8E%E5%AD%A6%E7%BF%92.html
[5] https://ainow.ai/2022/07/19/266717/
推論
推論とは、既知の事実や情報から未知の事柄を論理的に導き出すことを指します。
## 推論の概要
– 既存の事実や前提から、新しい結論を導き出すプロセスである[1]。
– 人間の主要な知的活動の一つであり、コンピューターでも自動推論と呼ばれる[2]。
– 論理的に正しい推論を行うことが重要視される[1]。
## 推論の種類
– 演繹的推論: 前提から必然的に結論を導く推論[1]。
– 帰納的推論: 特殊な事例から一般的な法則を導く推論[1]。
– アブダクション: 仮説を導出する推論[1]。
– 確率推論: 確率値を用いた推論[1]。
## 推論の条件
– 意味論的に妥当な事柄を指し示すこと[1]。
– 状況に応じて語用論的に妥当であること[1]。
– 構文論的に正しい形式であること[1]。
推論は人間の思考や知的活動の根幹をなす重要な概念であり、論理学や人工知能の分野で活発に研究されています[2]。
Citations:
[1] https://ja.wikipedia.org/wiki/%E6%8E%A8%E8%AB%96
[2] https://kotobank.jp/word/%E6%8E%A8%E8%AB%96-83213
[3] https://dictionary.goo.ne.jp/word/%E6%8E%A8%E8%AB%96/
[4] https://www.weblio.jp/content/%E6%8E%A8%E8%AB%96
[5] https://dictionary.cambridge.org/dictionary/chinese-traditional-english/%E6%8E%A8%E8%AB%96
ノーフリーランチ定理
ノーフリーランチ定理とは、物理学者のDavid H. WolpertとWilliam G. Macreadyが提唱した組合せ最適化の定理です。この定理は以下のように定義されています。
「コスト関数の極値を探索するあらゆるアルゴリズムは、全ての可能なコスト関数に適用した結果を平均すると同じ性能となる」[1]
つまり、特定のコスト関数に対して高い性能を示すアルゴリズムでも、あらゆるコスト関数に適用して平均すると、単純なアルゴリズムと同程度の性能しかないということです。[1]
## 定理の意味
この定理は、問題領域に関する知識を使わずに汎用的な探索アルゴリズム(遺伝的アルゴリズムや焼きなまし法など)を使うことに反対する論拠となります。[1] 実際の問題解決には、問題領域の知識を可能な限り使用して、特殊な最適化ルーチンを作成する必要があります。[1]
つまり、高性能なアルゴリズムを作るには、解決したい問題の前提条件や知識に基づいてアルゴリズムを工夫する必要があり、万能なアルゴリズムは存在しないということです。[2]
この定理の名称は、ハインラインのSF小説に由来する「無料の昼食はない」という格言から来ています。[1] 酒場で無料の昼食を提供しても、実際にはその代金が酒代に含まれているように、どんな場合でも完全に無償のものはないという意味が込められています。[1][2]
Citations:
[1] https://ja.wikipedia.org/wiki/%E3%83%8E%E3%83%BC%E3%83%95%E3%83%AA%E3%83%BC%E3%83%A9%E3%83%B3%E3%83%81%E5%AE%9A%E7%90%86
[2] https://aizine.ai/no-free-lunch0717/
[3] https://gen-ai-media.guga.or.jp/glossary/no-free-lunch-theorem/
[4] https://qiita.com/tnukui/items/d9727c0841248af4f3ba
[5] http://no-free-lunch.org
ハルシネーション
ハルシネーションとは、AIが事実に基づかない虚偽の情報を生成する現象のことを指します。[1][3]
## ハルシネーションの概要
– AIが訓練データや事実に基づかない、架空の情報やデータを出力すること。[1]
– 「幻覚」を意味する英語の”hallucination”から来た言葉で、AIが幻覚を見ているかのように虚偽の情報を生成することを表します。[1][3]
– 自然言語処理(NLP)の言語モデルやチャットボットなどで起こりやすい。[1]
## ハルシネーションが起こる原因
– AIが過去のデータに基づいて訓練されているため、そのデータに含まれない新しい情報を生成する際にハルシネーションが起こる可能性がある。[1]
– AIがある特定のトピックに関する十分な情報を持っていない場合、無関係な情報を組み合わせてしまう。[1]
## ハルシネーションの具体例
– ChatGPTに「日本で2番目に広い都道府県」を聞いたところ、正解は岩手県なのに「青森県」と回答した。[2]
– 架空の人物や書籍について質問されても、それらが実在するかのように回答する。[3]
ハルシネーションは企業や個人の信頼を損ねる重大な問題であり、対策が必要とされています。[2]
Citations:
[1] https://www.ai-souken.com/article/hallucination-overview
[2] https://weel.co.jp/media/hallucination
[3] https://ja.wikipedia.org/wiki/%E3%83%8F%E3%83%AB%E3%82%B7%E3%83%8D%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3_%28%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BD%29
[4] https://www.newton-consulting.co.jp/itilnavi/glossary/hallucination.html
[5] https://go.orixrentec.jp/rentecinsight/it/article-385
