【AI入門】ChatGPTに写真を送るとどうなるのか？マルチモーダルを比喩で解説

ChatGPTに写真を送ると、料理の名前を答えてくれる。英語の書類を撮影して貼ると、日本語で要約してくれる。手書きのメモを画像で送ると、テキストに書き起こしてくれる。

📷 これを初めて体験したとき、「AIが写真を『見ている』の？」と驚いた方は多いはずです。

今回は、AIが画像・テキスト・音声をまたがって理解する仕組み——マルチモーダルAIを比喩で解説します。この仕組みを知ると、ChatGPTの「使い方の幅」が格段に広がります。

「写真を送る」と何が起きているのか

まず「マルチモーダル」という言葉を整理します。

🔍 **マルチ（複数）× モダリティ（感覚・入力形式）**を組み合わせた言葉で、「複数の形式の入出力を扱えるAI」を指します。テキストだけでなく、画像・音声・動画なども入力として受け取り、意味を理解して返答できる状態のことです。

ChatGPT（GPT-4V以降）やGemini、ClaudeはすでにマルチモーダルAIとして動いています。あなたが写真を送るとAIが答えてくれるのは、この仕組みが実装されているからです。

では、具体的にどうやって「画像を理解」しているのでしょうか。

AIは画像を「数字の地図」として読む

🖼️ コンピュータにとって、画像とは無数のピクセル（点）の集合です。

たとえば横1000px × 縦1000pxの画像は、100万個のピクセルで構成されています。1つのピクセルは「赤・緑・青それぞれ0〜255の数値」で表されるので、この画像全体は300万個の数字として表現できます。AIにとって画像とは、数値の巨大な配列です。

📊 人間が「猫の写真」と見ているものも、AIには「この場所に明るい点・この場所に暗い点・この色の変化」という数値のパターンに見えています。AIはこのパターンを分析して、「このパターンは猫の耳に似ている」「この形状は猫の目によく出てくる」という特徴を検出します。膨大な数の画像データを学習した結果、「これは猫だ」という判断ができるようになっています。

テキストと画像を「同じ言語」に変換する

ここが最も重要なポイントです。

🌐 テキストは文字、画像は数値の配列——この2つは本来、まったく別の形式です。では、なぜAIは「この写真に写っているものを説明して」というテキストの質問と画像を組み合わせて理解できるのでしょうか。

答えは、両方を「同じ数学的な空間」に変換しているからです。

たとえば、国際会議に参加しているとします。英語で話す人、フランス語で話す人、日本語で話す人がいます。それぞれの言語は異なりますが、優秀な同時通訳者がいれば、発言の意味を統一的に理解して議論を進められます。

マルチモーダルAIがやっていることはこれに近いです。テキストを「意味ベクトル（数値表現）」に変換し、画像も同じ形式の数値表現に変換する。すると、「猫という単語」と「猫の写真」が、同じ数学的な空間で近い場所に配置されるようになります。

🧠 AIはこの空間の中で「テキストの質問の意味」と「画像の内容の意味」を近づけたり比較したりして、「この質問はこの画像のこの部分を指しているのだな」という理解ができるようになっています。このシリーズの第2回で説明したLLMの「ベクトルで意味を理解する仕組み」が、画像にも拡張されたイメージです。

ChatGPTで実際に何ができるのか

⚡ マルチモーダルの仕組みを踏まえると、ChatGPTで実際にできることのイメージが変わります。

画像を「入力」として使う活用例：

• 写真を見せて料理のレシピを聞く — 食材の写真から作れる料理を提案してもらう

• グラフや資料の画像を要約してもらう — スクリーンショットを貼るだけで内容を整理

• 英語の看板や書類を撮って翻訳する — 旅行先やビジネス書類に役立つ

• 図や手書きのメモをテキスト化する — 議事録やスケッチをデジタル化

• エラー画面を送って解決策を聞く — PCトラブルをすばやく解消

📝 いずれも「テキストで説明しなくても、見せるだけで伝わる」という体験です。ChatGPTの使い方が「文字で質問する」から「見せながら対話する」へと変わっていきます。

マルチモーダルが変える「AIとの使い方」

🌱 マルチモーダルAIの登場で、AIとの「インターフェース」が変わりつつあります。

これまでのAI活用は基本的に「文字で説明して、文字で返ってくる」というものでした。しかしマルチモーダルが普及することで、「見せる・聴かせる・話す」がAIとのやりとりの基本になっていきます。

医療の現場ではレントゲン画像をAIに読み取らせて診断の補助に使う研究が進んでいます。製造業では機械の写真からトラブルの原因を診断するシステムが動いています。日常では、スマートフォンのカメラで撮った写真に音声で質問するだけで、AIが答えてくれるアプリが増えています。

「AIに文章を打つのが面倒」と感じていた方にとって、マルチモーダルは大きな転換点です。テキストが苦手でも、「見せる」ことができればAIと対話できる時代が来ています。

まとめ：AIは「目」を持った

📝 今回の内容を整理します。

✅ マルチモーダルAIとは、テキスト・画像・音声など複数の形式を扱えるAI

✅ AIは画像をピクセルの数値パターンとして読み取っている

✅ テキストと画像を「同じ数学的空間」に変換することで、横断的な理解が可能になる

✅ ChatGPTでは写真・スクリーンショット・書類画像などをそのまま入力できる

✅ 「文字で説明する」から「見せて対話する」へ、AIの使い方が変わりつつある

「AIが画像を理解する」のは魔法ではなく、数値と数学の組み合わせです。 仕組みを知ることで、ChatGPTをより意図的に・幅広く使えるようになります。

次回は「AIはどうやって声を作るのか——音声AIの仕組みを比喩で理解する」を解説します。

フォロー・スキで続きを読む励みになります 🌱

「わかりやすかった」と思ったら、周りのAI初心者の方にシェアしてもらえると嬉しいです。

関連記事

このシリーズの他の記事もあわせてどうぞ。