4-4　マルチモーダル：画像も音声も動画も「文脈」である

※もともと有料教材でしたが、今はすべて無料で読めます。経緯はこちら→https://note.com/bonnno420/n/n226b8551ab12

会議のあと、ホワイトボードをスマホで撮り、その写真を見ながら手でテキストに打ち直す。この作業を今月、何回やりましたか。

その丁寧さは美徳です。でも、その翻訳作業はもう道具側の仕事になりました。

これ、原理で解決できます。

その翻訳、もう不要です。AIにとって画像も音声も動画も、テキストと同じ「文脈の一形式」。ホワイトボードは撮影して渡す、グラフは画像のまま表に起こさせる、会議は録音から話者別に整理させる——現実をそのまま作業机に載せる時代です。

コンテキスト供給の最後のピースがマルチモーダル——テキスト以外の情報形式（画像・音声・動画・ファイル）の入出力です。これも「新しい便利機能」ではなく、原理の延長で捉えましょう。第1部で学んだとおり、AIはあらゆる情報を数値として扱います（1-5・RAG・マルチモーダル）。つまり画像も音声も、AIにとってはテキストと同じ文脈の一形式なのです。

この理解が実務を変えます。これまで私たちは、AIに渡すために現実を「テキストに翻訳」していました。ホワイトボードの議論を文字に起こし、グラフの数値を書き写し、現場の状況を文章で説明する。マルチモーダル入力は、この翻訳作業を不要にします。現実をそのまま机に載せられるようになったのです。

入力側の実践例を挙げます。
会議のホワイトボードを撮影して「決定事項とTODOを抽出して」。
データのグラフ画像から「数値を表に起こして」。
名刺の束から「一覧表を作って」。
手書きメモを「議事録の体裁に清書して」。
エラー画面のスクリーンショットを「原因の見当を付けて」。
録音音声から「文字起こしして話者ごとに整理して」（長時間の音声・動画を扱えるサービスもあります）。
共通する型は、「現実の断片を渡す→構造化された情報に変換させる」です。
第2部で学んだ出力形式の指定（2-6・受け入れ条件）を添えれば、精度はさらに上がります。

出力側——画像や動画の生成も、原理は同じ「プロンプトによる確率の誘導」（2-1）です。良い画像を得るコツはテキストの場合と相似形で、具体的な状況の記述（誰が・どこで・何を）、スタイルの指定（写実的か、イラスト風か）、品質と構図の指定を組み合わせます。逆質問（2-10）で「良い画像にするために足りない情報を聞いて」と頼む技も、そのまま通用します。

ツール選びの観点としては、マルチモーダルの強さ——どの形式を、どれだけの量、どんな精度で扱えるか——はサービスごとの個性が大きい領域です。画像認識に強いもの、長時間動画を扱えるもの、生成物の品質に強みがあるもの。自分の業務で「テキストに翻訳するのが面倒な情報」は何かを起点に、必要な入出力形式から選んでください。

保存版・マルチモーダルの型

• 画像・音声・動画も、AIにとってはテキストと同じ「文脈の一形式」

• 現実をテキストに翻訳する時代から、現実をそのまま机に載せる時代へ

• 型は「現実の断片を渡す→構造化させる」。出力形式の指定を忘れずに

これで冒頭の"写真を見て手で打ち直す作業"がゼロになります。

【2026年時点の一例】 画像を渡して指示する入力は主要サービスに標準搭載。音声対話はリアルタイム会話モード、画像生成は各社の生成機能や専用サービスが該当します。名称は数年で入れ替わりますが、本文の原理は変わりません。

やってみよう: 手書きメモかホワイトボードの写真を1枚撮り、「決定事項・TODO・懸念の3分類で構造化して」と頼んでみましょう。型はこちらです。

関連する無料ケーススタディ: 57「ホワイトボードを撮って投げるだけ。議事録の清書が消えた」

📍 番号や読む順に迷ったら講座マップへ。目的別ルートと全84レクチャーの対応表があります。