chat GPTの登場から1000日。AIの実用化はいまだに失敗するのか
前提
この議事では、主に会社の実務におけるAI活用を想定して記載しています。
筆者について
2019年から自然言語処理（今でいう生成AI）の実務活用に携わっていました。
松尾研究室発のELYZAという会社に所属していた頃はSOMPO/JRなどの規模の大きい業務のAI活用を行っていました。
独立以降ではスタートアップやメガベンチャーなどでのAI活用を担いました。
現在は実用化できなかったケースは自分の周りには少ないです。
何を踏まえれば実用性を手に入れられるのか、
言語化してみたいと思います。
総論：オペレーション・人間・AI、それぞれが持つ根本的な性質への誤認
自分がAIを実用化していく中で学んだことは、
AI技術そのものではなく、
プロジェクトメンバーの認識と進め方を整備する。
ちょうどいい設計と実装像を持ち、実用化へと前進させる。
これが難しいし重要だという点です。
オペレーション・人間・AI（LLM）、そのそれぞれが持つ根本的な性質への誤認が主な原因だと考えています。
＜1章：誤解が生まれる温床＞
■温床1.即レスチャットAI体験が、AIへの過大評価を産む
依頼すると1秒でそれっぽい答えが返ってくる。
人の期待値は「待たされた時間」と共に肥大化します。
AIの即レス出力が「依頼翌日にあなたの後輩が持ってきた依頼結果」、だとしたらその後輩を叱ると思います。
実用的な出力を得るには、詳細な依頼やデータ連携など、事前手配が様々必要です。
即レス体験は、「それすらもAIはすっ飛ばせる」ような感覚を持ってしまう原因になります。
■温床2.精度NN%を過大評価する
「このAIの出力精度は97%です」
このAIを実用開始するのは意外と難しいです。
100件中、3件は間違える
間違っている3件がどれかは分からない
この状態を言い換えると、
「100件すべてを人間が確認しなければいけないAI」です。
つまり、人間の作業はほぼ減らず、むしろ、「AIの出力を疑う」という新しい作業が増えます。
＜2章：実用化を遠ざけてしまう原因・落ち度＞
■原因1.人が無意識にやっている仕事を解明できていない
人間は業務の中で、多くのことを無意識にやっています。
それらは、業務フロー図にも書かれていません。
なぜなら「人間がやるなら書かなくてよかった」からです。
機械にその仕事をさせるにはその詳細プロセスの解明が必要です。
その解明がされていない中で、AIに働け、というのは意外と無理です。
■原因2.仕事の品質基準・妥協点が定まっていない
人間はみんな「いい感じ」に働けてしまいます。
その結果として、AI活用の現場ではこんなことが起きます。
人間がやっていた本当は過剰な品質を、そのままAIにも必須基準として取り組んでしまう。
品質を壊してはいけないような判断までAIに任せてしまう
という、両極端な失敗が起きます。これはAI以前に、業務理解の問題です。
■原因3：「1つの処理」に詰め込みすぎた実装をしてしまう
実用化に至って利用されているAI処理はほぼ100%パイプライン型です。
ほとんどの仕事は「作業や判断の成功の連鎖」で成り立っています。
・その処理1個1個を、どこかで間違えた時点で最終的な作業結果は使えない出力がでます。
・そういった前提があるため、1プロンプトではなく仕事を分割して確からしさをチェックする処理を組み込んだパイプラインを実装します。
分解した処理プロセスを実装すると「この部分が精度が悪い」といった具体的な治療項目がわかる状態で、AI処理を育成していくことが出来ます。
■原因4.現実的な業務像がない
DXで本当に設計すべきなのは「人の立ち位置」です。
どこまで自動化するのか・人はどこに残るのか・機械失敗したときにどう戻すのか、といった話が、ふわっとしたまま進みがちです。
私自身、ほとんどの現場で実装内容はかなり地味です。地味で十分ありがたい像を目指した結果、素早く成果を得られています。
人が何さえしていれば、70点しかだせない機械でも安全に仕事が回るのか。
これを先に決めることです。
■原因5：人間流のやり方を機械に押し付けてしまう
業務を処理するための「最適なやり方」が、人間と機械で同じである保証はです。
数字やプログラム言語だけではなく、自然言語を理解できるようにはなりましたが、機械には機械の得意なやり方があります。
人間にとっては自然でも、機械にとっては苦手なやり方を押し付けてしまうと、なんとなくそれっぽい・でも安定しないAIが出来上がります。
＜3章：実用化にたどり着くための捉え方＞
ここからはより個人的な考え方です。
イメージ感として持っておくと建設的にAIと人が合流して働く姿をデザインできるようになると感じている捉え方の話を3つほど書いてみます。
■捉え方1.オペレーションは生き物くらい解明が難しい
オペレーションを進化させる行為そのものの難易度が誤解されています。
多くの業務は、人が無意識のうちに高度な調整をしながら回しています。
その結果、業務は 呼吸のように自然に成立してしまう。
そんな意味不明な生命体を解剖する気持ちで向き合う必要があると思います。
医者や物理学者が、目に見えない現象を診断しながらやる仕事に近いです。
■捉え方2.AIは脳みそではなく、インターフェースである
「言語を扱える＝考えている」だから「AIは考えている」。
と解釈した瞬間に、AI活用はほぼ確実に破綻してしまうと感じます。
AIは、人間と人間の間、人間とデータの間、人間とシステムの間、システムとシステムの間、など様々な間に立つことができるインターフェース（翻訳者）だと自分は理解しています。
人間は、デジタル化や機械化をしきれていなかったり、機械と機械の間が繋がっていない状況でも働けるインターフェース・翻訳者でもあります。
AI導入とは「人間が今は担っている役割」を「分解し、AIと分担する」という行為です。
なのでまずやっていくべきことは具体的に人間が行っているプロセスを1つ1つ整理して渡せるのかを考えるべきだと思います。
■捉え方3.情報は「正しさ」ではなく「ブランドや出所」で評価される
同じ内容を言っているのに、
ある人の意見は通り、別の人の意見は通らない
人は、情報の中身そのものではなく、「誰が言っているか」で評価していることも多いです。
人が信用しているのは「知」ではなく「知の出所」。
「AIに聞けばわかることを俺に聞くなよ」と言ってはいけません。
どうやったら、当事者がAIの出力を信用可能になるか？に視点を移動する必要がある。
■全文をまとめた図
自分とLLM（生成AI）との出会い
会食（ただの飲み会）の場にて、松尾研究室発として立ち上がったELYZAという会社の現代表と2019年に出会いました。
わくわくが止まらなくて飲み明かしてしまい、気づけば翌週から携わり始めていました。
・当時はWEB記事が3秒で自然な3行に要約が出来ることですら衝撃的とされていました。
・2022年の年末年始など、AIバブルの勃興期なんかは1ヶ月で「XXAIサービスを始めました！」みたいなプレスリリースが週次で200件以上出ていた狂った時代もありました。
そういった意味不明な加熱はおさまった上で冷静に進んでいるはずのオペレーションエンジニアリングがなぜここまで失敗するのか。
主要メンバーの認識が変わるだけでも成果が得られたはずのプロジェクトも世の中には多いように感じています
最後に
たくさん書いてしまいました。
長い記事を読んでくれてありがとうございます。
いろいろ書いていますが、
・認識と進め方が9割
・開発力より業務理解と業務分解が大事
くらいしか書いてないです。
chat GPTがこの世に出てから2000日くらいの時には、時代の恩恵が受けられている社会になっていたい。
