ディープラーニングの応用例＃１３：正解を教えない学習法「強化学習」とは何か

強化学習とは ー エージェントと報酬

強化学習は、ディープラーニングの応用分野の中でも、「正解データを与えずに、試行錯誤を通じて最適な行動を学ぶ」という点で特徴的な手法です。画像認識や自然言語処理が「入力に対する正しい答え」を学習するのに対し、強化学習では行動の結果として得られる報酬を手がかりに学習が進みます。

強化学習の基本的な考え方

強化学習は、次の4つの要素で構成されます。

• エージェント：学習・行動する主体

• 環境：エージェントが行動する対象

• 状態：環境の現在の状況

• 報酬：行動の結果として得られる評価

エージェントは、ある状態において行動を選択し、その結果として報酬を受け取ります。このプロセスを繰り返すことで、「将来的により大きな報酬を得られる行動」を学習していきます。

ここで重要なのは、目先の報酬だけでなく、将来にわたる累積報酬を最大化するという考え方です。これにより、短期的には不利に見える行動でも、長期的に有利であれば選択されるようになります。

教師あり学習との違い

強化学習は、教師あり学習や教師なし学習とは大きく異なります。
教師あり学習では「この入力にはこの答え」という正解データが与えられますが、強化学習では正解そのものは与えられません。

代わりに与えられるのは、

• 行動の良し悪しを示す報酬

• 環境からのフィードバック

だけです。
このため、エージェントは「何が正解か」を自ら探しながら学習を進める必要があります。

価値ベースの強化学習手法

強化学習の代表的なアプローチの一つが、価値ベースの強化学習手法です。
価値ベース手法では、「ある状態、あるいは状態と行動の組み合わせが、どれだけ将来の報酬につながるか」を 価値（Value） として定義し、それを最大化する行動を選びます。

代表的な考え方としては、

• 状態価値関数（V値）

• 行動価値関数（Q値）

があり、特に 行動価値関数（Q値）を用いる手法は広く知られています。

エージェントは、「この状態でこの行動を取ると、将来的にどれくらい得をするか」を学習し、その値が最大となる行動を選択します。
価値ベースの手法は構造が比較的シンプルで理解しやすく、強化学習の入門としても重要な位置づけにあります。

探索と活用のトレードオフ

価値ベースの手法を含め、強化学習全般において重要なのが、探索（exploration）と活用（exploitation）のバランスです。

• 探索：新しい行動を試し、未知の情報を得る

• 活用：これまでに高い価値が得られた行動を選ぶ

探索ばかりでは学習効率が悪くなり、活用ばかりでは最適解に到達できない可能性があります。このバランスをどのように取るかが、強化学習アルゴリズムの設計において重要なポイントです。

強化学習の代表的な応用例

強化学習は、「正解を定義しにくいが、良し悪しは評価できる」問題に適しています。

• ゲームAI（囲碁・将棋・ビデオゲームなど）

• ロボットの行動制御

• スケジューリングや資源配分

• 自動運転における意思決定

これらの分野では、価値ベースの考え方が基本となり、次回の記事で紹介する深層強化学習へと発展していきます。

強化学習は単体でも強力な手法ですが、深層強化学習 によって、さらに複雑な問題へと適用範囲が広がりました。

ここまでお読み頂きありがとうございます。
AIって何？ AIの歴史から最新情報まで、わかりやすく説明した、
これまでの記事（マガジン）の一覧をプロフィールページにまとめています。
AIの全体像をつかむヒントになると思いますので、ぜひご覧ください。

＜前へ
ディープラーニングの応用例＃１２｜人の声に近づく音声生成AIの現在地

次へ＞
ディープラーニングの応用例＃１４｜DQNとActor-Criticで行動AIはどう進化したか

免責事項
・本記事は生成AI（ChatGPT等）を活用して執筆しています。内容の正確性・最新性には十分配慮しておりますが、誤りや古い情報が含まれる場合があります。ご利用・ご判断はご自身の責任でお願いいたします。万一、著作権等に問題がある場合はご連絡ください。