【第44回】AIはズレをどう小さくする？最小二乗法とは
予測した値と実際の値には、どうしてもズレが生まれます。
そのズレをできるだけ小さくしようとする方法が「最小二乗法」です。
この記事では、回帰分析の基本となる考え方をやさしく解説します。
1. 読み方
さいしょうにじじょうほう (Least Squares Method)
2. 意味（定義）
「データのバラつき（誤差）の『二乗』を全部足し合わせたものが、一番小さくなるように、直線の式（または曲線の式）を決める手法」のことです。
なぜ「二乗」するのか？
プラスとマイナスを打ち消さないため: 誤差には「予測より大きかった（＋）」と「予測より小さかった（－）」があります。そのまま足すと、お互いに打ち消し合って「合計のズレはゼロ」という、間違った結果になってしまいます。
大きなミスに厳しいペナルティを与えるため: 二乗することで、小さなズレはそのまま、大きなズレは「ものすごく大きな値」として扱われます。これにより、「極端な外れ値（めちゃくちゃなデータ）」に引きずられすぎないような、バランスの良い線を引くことができます。
なぜ「最小」にするのか？ 誤差の合計が一番小さいということは、その線が「最もデータにフィットしている（＝もっともらしい）」ことを意味するからです。
3. 歴史・背景
最小二乗法は、18世紀から19世紀にかけて、数学者レオンハルト・オイラーや、後にカール・フリードリヒ・ガウスによって確立されました。
当時、天文学において「惑星の軌道」のような、観測データに必ず含まれる「誤差」をどう取り除き、真の法則を見つけ出すかが大きな課題でした。ガウスは、この手法を用いることで、非常に精度の高い計算が可能であることを示しました。これが現代の統計学や機械学習における「回帰分析」の基礎となり、現在でもあらゆる科学分野で最も広く使われている手法の一つとなっています。
4. 比較・対比（似た用語との違い）
ここが試験で狙われる「整理」ポイントです！
最小二乗法 vs 最尤法 (Maximum Likelihood Estimation) ★超重要
最小二乗法: 「誤差の二乗和を最小にする」という、具体的で計算しやすい手法。
最尤法: 「データの尤度（もっともらしさ）を最大にする」という、より広義な考え方。
関係性: 前述の通り、「誤差が正規分布に従う」と仮定したとき、この2つは数学的に同じ結果になります！
最小二乗法 vs 平均値 (Mean) ★直感的理解
平均値: データの「中心」を表す。
最小二乗法: データに最もフィットする「線の傾きと切片」を表す。 （※ちなみに、1次元のデータに対して最小二乗法を適用して「定数（変化しない線）」を求めようとすると、その結果は「平均値」になります。）
5. 活用シーン（どんな問題に使うか）
回帰分析 (Regression Analysis): 「広告費」から「売上」を予測する、「気温」から「アイスの売上」を予測するなど、数値の予測。
トレンド予測: 株価や人口推移などの時系列データにおいて、将来の値を予測するための傾向線（トレンドライン）を引く。
機械学習の基礎: 線形回帰モデルの重み（パラメータ）を決定する際の最も基本的なアルゴリズム。
6. G検定での出題傾向
G検定では、以下のポイントが狙われます！
「二乗」の意味と役割: 「誤差の打ち消しを防ぐ」「大きな誤差にペナルティを与える」という理由。
最尤法との等価性: 「誤差が正規分布に従う場合、最小二乗法は最尤法と一致する」という知識（超頻出！）。
回帰分析への適用: 予測モデルのパラメータ決定における基本的な手法としての理解。
外れ値の影響: 二乗するため、極端に離れたデータ（外れ値）があると、その影響を強く受けて線が引っ張られてしまうという性質。
7. G検定の例題
【問題1：手法の目的】
最小二乗法において、誤差（残差）を「二乗」して合計することを目的とする理由として、最も適切なものはどれですか？
A. 計算を簡略化し、コンピュータの処理速度を上げるため。
B. 誤差のプラスとマイナスが打ち消し合ってしまうのを防ぎ、大きな誤差に強い影響を与えるため。
C. データに含まれる外れ値の影響を完全に無視するため。
D. データの平均値を算出するため。
【問題2：最尤法との関係】
統計学的なモデルにおいて、「誤差が正規分布に従う」と仮定してパラメータを推定する場合、最小二乗法を用いた結果はどのようなものになりますか？
A. 最尤法を用いた結果と一致する。
B. 期待値を用いた結果とは全く異なるものになる。
C. 分散のみが決定され、傾きは決まらない。
D. 常に平均値と同じ値になる。
8. 例題の回答と解説
【問題1 の回答】
正解：B
【解説】 誤差をそのまま足すと、プラスのズレとマイナスのズレが相殺されて「合計誤差ゼロ」という誤った結論になりかねません。また、二乗することで大きなズレ（外れ値）に対して、より大きなペナルティを与えて線を引き戻す効果があります。
【問題2 の回答】
正解：A
【解説】 これは統計学の非常に重要な性質です。「誤差が正規分布に従う」という前提条件の下では、「二乗和を最小にする（最小二乗法）」ことと「尤度を最大にする（最尤法）」ことは、数学的に全く同じ計算プロセスになります。G検定では非常によく問われる知識です。
