文系のためのAI数学入門＃２：微分・最適化の基礎をやさしく整理

微分と最適化の基礎

AIや機械学習の学習プロセスを理解するうえで、避けて通れないのが微分と最適化の考え方です。といっても、複雑な数式を解ける必要はありません。重要なのは、「なぜ微分が使われているのか」「最適化とは何をしているのか」を直感的に理解することです。

なぜ微分が学習に使われるのか

機械学習では、モデルの予測結果と正解との差を誤差（損失）として数値化します。
学習とは、この誤差をできるだけ小さくするようにモデルの内部パラメータを調整する作業です。

ここで微分が登場します。
微分は、「ある値を少し変えたときに、結果がどの程度変わるか」を表す考え方です。

AIでは、複数のパラメータそれぞれについて「少し変えたら誤差がどう変わるか」を調べるために「偏微分」が使われます。
この複数の偏微分をまとめたものが「勾配（gradient）」です。
つまり微分は、誤差を減らすための方向を教えてくれる道具だと考えると分かりやすいでしょう。

損失関数と最小化の考え方

誤差を数式として表したものを損失関数と呼びます。
損失関数は、モデルの予測がどれだけズレているかを一つの数値で示します。
学習の目的は、この損失関数の値を最小化することです。
イメージとしては、

• 山や谷のある地形を想像する

• 一番低い場所（誤差が最小）を探す

という感覚に近いものです。
AIの学習は、「正解を直接探す」というよりも、誤差が小さくなる方向へ少しずつ進むプロセスだと言えます。

勾配降下法の直感的理解

この「少しずつ進む」方法として広く使われているのが勾配降下法です。
勾配とは、簡単に言えば「傾き」を意味します。

• 誤差が増える方向

• 誤差が減る方向

を微分によって判断し、誤差が減る方向へパラメータを更新していきます。
一度で最適な答えにたどり着くわけではなく、

• 少し動く

• 誤差を確認する

• また少し動く

という試行錯誤を繰り返す点が特徴です。

なぜ最適化は一度で終わらないのか

実際のAIモデルでは、パラメータの数が非常に多く、誤差の地形も複雑です。
そのため、

• 途中で行き止まりのように見える

• 必ずしも最良の解に一気に到達しない

といったことが起こります。
それでも、微分と最適化の仕組みを使うことで、
AIは大量のデータから徐々に精度を高めていくことができます。

数学としての理解は「方向感覚」で十分

この記事で重要なのは、

• 微分＝誤差を減らす方向を知るための手段

• 最適化＝誤差を小さくするための繰り返し作業

という点を押さえることです。
厳密な計算よりも、「AIがどうやって学習しているか」という方向感覚を持つことが、数学・統計を学ぶ第一歩になります。

ここまでお読み頂きありがとうございます。
AIって何？ AIの歴史から最新情報まで、わかりやすく説明した、
これまでの記事（マガジン）の一覧をプロフィールページにまとめています。
AIの全体像をつかむヒントに、ぜひご覧ください。

＜前へ
文系のためのAI数学入門＃１｜なぜAIに数学・統計が必要なのか ー 文系のための意味や役割の整理

次へ＞
文系のためのAI数学入門＃３｜線形代数の基礎をやさしく整理

免責事項
・本記事は生成AI（ChatGPT等）を活用して執筆しています。内容の正確性・最新性には十分配慮しておりますが、誤りや古い情報が含まれる場合があります。ご利用・ご判断はご自身の責任でお願いいたします。万一、著作権等に問題がある場合はご連絡ください。