ハードウェアと音声AIの組み合わせが絶対に来る——アメリカ・ベイエリア5日目

今日は朝起きてすぐパロアルトのホテルからサンフランシスコ市内の方まで移動しました。

本日5日目は、Zealsのマサさんと会った後、OpenAI、Devinのオフィスに行く予定です。

4日目に関してはこちらです。

ざっくりスケジュール

• 午前 Zealsマサさんとミーティング

• 昼 OpenAIでランチ

• 午後 Devin訪問（2回目）

• 夜 大学同期と夕食

Zealsのマサさん

Zealsは日本でチャットコマースに力を入れているベンチャー企業です。チャットボットとチャットアプリを組み合わせて、接客体験をデジタル化するサービスを提供しています。

そんなZealsが最近Omakase Voice AIという音声エージェントをリリースしました。Product Huntでも1位を取っていました。

音声周りのAIが今年はずっと騒がれており、マサさんはアメリカに移り住んで、そこでがっつりプロダクトを作ってチャレンジしています。とは言え、メルスケア特化などバーティカル特化のサービスはまだ波が来るまで少し時間がありそう、という話でした。

Omakase Voice AIの紹介動画がChatbots Suck（チャットボットはクソ）という文言から始まっているのが印象的でした（もともとZealsはチャットボットを提供している）。Metaもいきなりメタバースやって社名ごと変えたりと、今の時代に企業として生き残るには、こういう大きな方向転換は大切だと感じました。実際、Sun Microsystemsはそれが出来なくて、巨大だった企業がなくなりました（Oracleに売却）。

Sesameのデモが公開された時に、明らかに音声AIがキャズムを超えて、実用化される未来が見えた、ということで、Omakase Voice AIは音声AIに全振りしています。

まだ試していない人はぜひ試してみてください。

途中からGOROmanさんが持っているARグラスに興味を示して、「実はハードウェアの事業もしたかった」とハードウェア愛が伝わってきました。

マサさんと話していると、ますますプロダクトを作りたい欲が湧いてきました。

僕自身、去年末まで知人と起業したスタートアップを5年半ほど経営していて、今やっと一息ついたタイミングなので、子育てしつつ羽休めをしているのですが、思ったより早くうずうずしてきました。

OpenAIでランチ

GOROmanさんが、以前OpenAIのRealtime API Embedded SDKを利用していたところ、OpenAIのバグを踏んでしまい、API利用料がたくさん請求された、とXで文句を言っていたら、中のPeterという人が連絡をしてくれて対応してもらった経緯がありました。

そんなこんなで、「サンフランシスコに行くよ」と連絡すると、返信があって、オフィスまで会いに行くことになりました。それに僕も一緒に参加した次第です。

オフィスは5つ星ホテルのような雰囲気でした。おしゃれで落ち着いた感じのロビーでホテル感がありました。

OpenAIのオフィス内の食堂でランチをしたのですが、非常に豪華でせっかくなのでメインディッシュの皿を2つ食べてしまいました。

実は昨年シンガポールであったOpenAI DevDayに行ったのですが、彼はそこで登壇しており、「あの時シンガポールのDevDayいたよ！」みたいな話になりました。

Realtime APIについて

Realtime APIの開発をしている人なので、色々とこうして欲しいみたいな話もしました。つい最近のアップデートではTool callingが改善されました。Tool callingはEval（AIが正しいかどうかの評価）が比較的容易な部類なそうですが、日本語の流暢度合いとかはEvalが極めて難しく苦労しているのだとか。

また、Turn detectionも難しい問題で、会話がゆっくりな人相手に、相手の会話がいつ終わったのか（AIがいつ話し始めればいいのか）どう判定するのかは、各社まだ手探りで取り組んでいる難しい課題だそうです。

開発に関しては、Peterは、基本Codexを利用しており、エディターはVimをずっと使い続けているそう。今まで育て続けたVimの設定を捨てることができなくて、Cursorとかも試したが、どうもしっくりこなかったそう。

余談ですが、Devinの開発者も同じようなことを言っていましたが、その人Zedを使って、Vimの設定を引き継いでいるのだとか。

ハードウェア×AIの可能性

Sesameを訪問した時も感じましたが、ハードウェアにAIを組み込むための技術が出揃ってきたので、その領域は今後トレンドになるのを確信しました。モノに話しかけると、自然言語を理解して実行してくれる、と。

Sesameの話はこちら。

OpenAI Realtime APIだと、自然言語で会話しながらTool callingができるようになるので、日本語や英語で話しかけると、内容を理解して必要なアクションを実行できるのです。めちゃくちゃ賢くなったSiriがどこにでも埋め込める感じです。