AIは正しかった。でも、その100万円は払えなかった。

株式会社iCAREでDevelopment部 CTO 兼 PdMをしています、でんでん(@shogodenden)です。

本格的にAIを使い始めて、1年ちょっとが経ちます。この記事を読んでいる方も、すでに開発にAIを取り入れている方が多いと思います。コーディングが速くなった、調べものが楽になった——その恩恵は、肌で感じているかと思います。ここで書いているのは、個人の話ではなく、組織としてAIを組み込んでいく中で起きたこと、そこから見えてきた気づきです。まだ答えが出ていないことも多いですが、何かひとつでもヒントになれば幸いです。

このシリーズについて

開発メンバーへのインタビューを基に、AI導入後に起きた変化を私が観察・振り返りながら書いています。インタビュー記事のまとめではありません。現場の声は「こう返ってきた」という形で紹介しています。「生産性」や「アウトプット」をどう捉えるか——アウトプット・アウトカム・事業インパクトの3層については、シリーズ最終回の#5で整理しています。

AIが正しくても、正解とは限らない

メンバーから「AIの提案は正しいのに、どこか違和感がある」という話を聞いたとき、最初はうまく言語化できませんでした。でもその感覚は正しかったです。

AIが提案してきた内容が、技術的には完全に正しかったです。でもそれは、うちには不要なものでした——そういう場面が、少なくとも一度は確実に起きていました。

「AIが間違えた」とは思いませんでした。むしろ逆で、AIは正確に正しいことを言っていました。ただ、「うちのチームにとって今それをやるべきか」という判断は、AIには持っていない情報に基づいています。年1回しか使わない、予算の優先順位がある、今は別のことに集中したい——そういう文脈を、AIは知りません。

「正しい」と「正解」は、別の話です。

その後、同じような場面が何度も出てきました。メンバーと話すたびに、AIの提案は技術的に正しいが「うちにとっての正解」かどうかは別の軸で判断しなければならない、という話が繰り返し出てきました。その判断を誰がどうやってするのか。その問いが、AIを使えば使うほど、重くなってきました。

AIの提案は、技術的には正しかった

あるとき、セキュリティを強化する施策を検討していました。AIに相談すると、提案が返ってきました。内容は筋が通っていました。技術的に見て、まったく問題ありません。

でも、コストを調べると100万円かかります。しかもその機能を使うのは、年に1回あるかないか。

その場面を、エンジニアはこう振り返っている。

AIには、「このチームが年1回しかその機能を使わない」という文脈はありません。

技術的な正しさと、そのチームにとっての正解は、別の軸で判断しなければなりません。その判断を、AIは代わりにやってくれません。

「承認ボタンをポチポチ」の問題の本質

AIが速くなるほど、人間が追いつけなくなる場面が増えてきています。

コードが出てきます。設計書が出てきます。提案が出てきます。そのスピードに追われるように、確認して、承認して、次へ進みます。

現場の違和感を、エンジニアの言葉に集約すると、こうなる。

問題の本質は「承認ボタンを押すこと」ではありません。問題は、中身を把握しないまま押している、という状態にあります。

把握していない承認は、承認ではありません。それはただの「通過」です。AIの出力スピードが上がるほど、人間が中身を理解するための時間は相対的に減ります。速さに乗っかっているつもりで、判断を放棄しているだけになっていないか。ここにエンジニアの力量のようなものが現れると思っています。

判断できるかどうかで、2倍3倍の差が出る

では、どうすれば「きちんと判断できる」のか。

鍵になるのは、要件への適合を見極められるかどうかだ、と同じエンジニアは言う。

要件を満たしているかどうかを判断できるか、ただそれだけで、アウトプットの質がまったく変わります。逆に言えば、それができなければ、AIが速く動いても意味がありません。

判断するためには知識が要ります。エンジニアは、若手についてこう懸念していた。

経験と知識がある人は、AIを使うことで一気に生産性が上がります。経験と知識がない人は、AIの出力を評価できないまま使うことになります。その差が、2倍3倍どころか、もっと大きくなる可能性があります。

では、人間に残るものは何か

メンバーと話す中で、ひとつだけ全員が一致していたことがあります。

最終的な判断は、人間がやる。

AIが提案してきます。AIがコードを書きます。AIが設計を考えます。でもそれが「うちのチームにとっての正解か」を決めるのは、人間です。AIがどれだけ速くなっても、その構造は変わっていません。

ただ、「判断できる人間をどう育てるか」は、部長として今いちばん考えていることです。経験の浅いエンジニアほど、AIとの実力差を感じやすい時代になっています。経験を積む時間は短縮できません。知識は急に身につきません。なのにAIのスピードはどんどん上がっていきます。

だからこそ今意識しているのは、「判断する機会を奪わない」ことです。AIがすべてやってしまえる場面でも、あえて人間に考えさせる場面を残します。短期的には非効率に見えても、判断力を育てる場として機能すると思っています。承認ボタンを押すだけの状態にしないために、意図的に設計しなければなりません。

AIが「正しい」提案をしてくることには、もう慣れてきました。次に問われているのは、それを「正解」に変えられる人間がチームに育っているか、です。

【全5回】CarelyのAI開発を紐解くシリーズ

この記事でお伝えした内容の他にも、AI開発を成功に導くための重要なフェーズや落とし穴があります。全5回のシリーズを通して、企画から組織への定着までの全体像をぜひチェックしてみてください。

ボトルネックは消えない、移動するだけ──AIワークフロー開発組織の現在#1｜Carely開発チーム / iCARE

AIは行間を読まない──AIワークフロー開発組織の現在#2｜Carely開発チーム / iCARE

AIが正しくても、正解とは限らない──AIワークフロー開発組織の現在#3｜Carely開発チーム / iCARE

コードを書かなくなったとき、何が残るか──AIワークフロー開発組織の現在#4｜Carely開発チーム / iCARE

アウトプットの先に、何を見るのか──AIワークフロー開発組織の現在#5｜Carely開発チーム / iCARE

iCAREではエンジニアを募集しています

iCAREでは、産業保健クラウド「Carely」を共に開発していくエンジニアを募集しています。 これまでの経験を活かし、複雑な社会課題の解決に技術で挑戦したい方、ぜひ下記より詳細をご覧ください。

herp.careers X02_オープンポジション(社員リファラルもこちらから)

株式会社iCARE

募集要項をみる