【実録】ChatGPT APIは“お利口”じゃない？──履歴が爆増して破綻する理由と、プロの対処法

こんにちは、現役IT執行役員のグイグイです。
ふだんは「AI利活用ガチおじさん」などと呼ばれていますが、実は本業では日本の決済インフラを裏で支えている現役のエンジニア兼PMでもあります。

たまには、その“ガチプロ”の側面も出しておきますね。

🤖 ChatGPT APIは「賢いアシスタント」ではない？

最近、APIでChatGPTを活用しようとする人が増えてきました。
でも、Web版ChatGPTに慣れていると、「なんか違う……」と感じることがあります。

その原因、ひと言で言うと──

つまり、過去の会話を覚えてくれません。
毎回、前提情報も履歴も、すべて自分で渡してあげないと、文脈を理解してくれない。

💡 ステートレスって何？

APIは基本的に「ステートレス（Stateless）」な設計原則に従います。
これは、リクエストごとに独立して処理される＝状態（ステータス）を保持しないという意味。

そのため、ChatGPT APIでも下記のように毎回「会話の履歴全体」を messages に詰めて渡す必要があります。

[
  {"role": "system", "content": "あなたは親切なアシスタントです"},
  {"role": "user", "content": "今日の予定を整理して"},
  {"role": "assistant", "content": "以下が今日の予定です…"},
  {"role": "user", "content": "じゃあその前に資料作って"}
]

でも、これを素直にやってると、すぐに問題が起きます。

🔥 履歴が“爆増”して破綻するパターン

ChatGPTは丁寧な回答をしてくれますよね。
でもそれ、APIにとっては毒になることも。

なぜか？

例えば、「資料のタイトルだけ返して」って聞いても──
「資料タイトルは〇〇です。補足として以下の点も考慮してください…」と、トークンが爆増します。

それを履歴としてまた次回の messages に加えると、雪だるま式に増えていきます。

✅ プロはどうするか？

ちゃんと対処法があります。
実務でAPIを使いこなすなら、以下のような設計が基本です。

🎯 セオリー1：AIの出力に制約をかける

• 「300文字以内で」

• 「リスト形式で」

• 「余計な補足は不要」

• 「結論のみ答えて」

AIに「自由にしゃべらせない」だけで、出力のムダを激減できます。

🎯 セオリー2：整形してから履歴に使う

• 返ってきた回答をそのまま messages に使わない

• JSON形式や箇条書きだけ抽出して、履歴用に整形

• テンプレ化して履歴を「構造的に」管理する

🎯 セオリー3：構造的に返させる

✅ リストで返して  
✅ JSONで返して  
✅ タイトル、概要、TODOに分けて返して

このように機械が処理しやすい形で返させることで、
・履歴の管理
・コストの最適化
・自動処理の効率化
すべてが爆速になります。

🛡️ systemプロンプトとセキュリティ

ちなみに、APIには system プロンプトが設定できます。
これはAIの“初期設定”みたいなもの。

でもここにユーザーの入力が混ざると、プロンプトインジェクションのリスクも発生します。

このあたりは、私は PCI DSS や OWASPベースのセキュリティ実装経験があるので、改めて別記事でも深掘り予定です。

✍️ 最後にひとこと

ChatGPT APIって、「使うだけ」なら誰でもできます。
でも、本当に“使いこなす”には構造と設計の知識が必要です。

そして、Web版とはまったく別物だと理解した瞬間から、
あなたのAI活用レベルはいきなり“上級者”になります。

🚀 この記事が刺さる人へ

• ChatGPT APIで自作ツールを作りたい人

• 履歴の膨張で困ってる人

• コストを抑えて賢く使いたい人

• 実務でAI導入を進める立場の人

もし心当たりがある方は、ぜひこの記事を保存しておいてください。
APIの地雷を踏まずに済む“設計の知恵が詰まってます。

「気になる方はプロフィールや過去記事もぜひどうぞ。」

私のプロフィールはこちら👇

おすすめ記事はこちら👇