ChatGPTは、見て話して聞けるようになる

先ほど、DiscordのOpenAIスレッドチャンネルから流れてきた情報をそのまま翻訳します。

後２週間でアプリ版ChatGTPは見て聞いて話せるようになる

ChatGPTは今、見る、聞く、そして話すことができます。次の2週間で、プラスユーザーはChatGPT（iOSおよびAndroid）と音声対話できるようになり、会話に画像を含めることができます（すべてのプラットフォーム）。

あなたの声を使ってChatGPTと対話しましょう。移動中に話しかけたり、寝る前の物語をリクエストしたり、食事のテーブルでの議論を解決したりできます。

ChatGPTに1枚または複数の画像を表示させてください。なぜグリルが始動しないのかトラブルシューティングしたり、食事を計画するために冷蔵庫の中身を調べたり、仕事関連のデータの複雑なグラフを分析したりできます。詳細はこちら：https://openai.com/blog/chatgpt-can-now-see-hear-and-speak

この新機能により、ChatGPTは音声対話や画像の処理も可能になるようです。

公式ページの説明

音声と画像は、ChatGPTを生活の中でさらに多くの方法で活用できるようにします。旅行中にランドマークの写真を撮り、それについてのライブ会話を楽しんだり、家にいるときに冷蔵庫やパントリーの写真を撮って、夕食に何を作るかを考えるのに役立ちます（ステップバイステップのレシピのためのフォローアップの質問もできます）。夕食後は、子供が数学の問題を解くのを手伝うために写真を撮り、問題を囲み、ヒントを共有することができます。

音声と画像は、次の2週間でPlusおよびEnterpriseユーザー向けにChatGPTで展開されます。音声はiOSとAndroidで利用可能になります（設定でオプトイン可能）、画像はすべてのプラットフォームで利用できるようになります。

ChatGPTと会話のキャッチボールを楽しめる

新しいアップデートにより、音声を使用してアシスタントとの対話を行うことができます。移動中に話しかけたり、家族のために寝る前の物語をリクエストしたり、夕食のテーブルでの議論を解決したりできます。

音声を利用するには、まずモバイルアプリの設定→新機能に移動し、音声対話にオプトインしてください。その後、ホーム画面の右上隅にあるヘッドフォンボタンをタップし、5つの異なる声の中からお好みの声を選択してください。

新しい音声機能は、テキストとわずか数秒のサンプル音声から、人間のような音声を生成することができる新しいテキスト読み上げモデルによって動作します。各声の作成にはプロの声優と協力しました。また、話された言葉をテキストに変換するために、オープンソースの音声認識システムであるWhisperを使用しています。

選べる5つの音声

音声や、どんなタイプの文章なのか選ぶことができます。
お話、レシピ、スピーチ、ポエム、説明書。

サム・アルトマンもポストしてますね。

公式ページには使い方動画が2つ掲載

自転車のある部分を、手書きで、「ここ」ってマーキーしたらそこの部分の説明をしてくれたりします。

まるでセラピーの様だ

OpenAI社員、Lilian Wengさんはこの様な感想をポストしています。

子供と寝る前にChatGPT会話してるというお父さん

確かに。これまでは自分が話すとChatGPTは文章で打つので小さな子供なら読むのが大変かも知れません。これからは、子供が話しかけたらちゃんと音声で答えてくれるようになりますね。もう、親が寝かしつけの読み聞かせをしてやる必要がなくなりますね。ちょっとGPT-4とロールプレイングをしてみたので掲載しますね。

こども：GPT-4、今日はなんのおはなしをきかせてくれるの？
GPT-4：もちろん、はなちゃん！今日は「月夜のうさぎ」っていうお話をしようかな。月に住むうさぎが地球に遊びに来るんだよ。どう、聞きたいかな？🌕🐰

こども：わーーい！聞きたい、聞きたい！
GPT-4：やったね、はなちゃん！それじゃあ、お話を始めるね。

昔々、遠くの月に住むうさぎがいました。その名前はモチくん。モチくんは月での生活がちょっと寂しくて、地球に遊びに行くことに決めました。

「よーし、地球に行って新しい友達を作るぞ！」とモチくんは月からロケットで飛び立ちました。

地球に着いたモチくんは、森でたくさんの動物たちと出会いました。でも、みんなは月から来たうさぎなんて初めて見るから、ちょっと驚いていました。

そこへ、地球に住むうさぎ、ココちゃんがやってきました。「こんにちは、私はココちゃん。月から来たの？それってすごいね！」

モチくんとココちゃんはすぐに仲良くなりました。ココちゃんはモチくんに地球の楽しい遊びや美味しい食べ物を教えてくれました。

「地球って楽しいな！でも、月にも帰らなきゃ」とモチくんは言いました。

「また遊びに来てね！」とココちゃんは手を振りました。

モチくんはロケットで月に帰りましたが、地球での素敵な思い出と新しい友達、ココちゃんのことをずっと忘れませんでした。

おしまい！どうだった、はなちゃん？楽しかった？😊

こども：うん。モチくんは明日の夜もココちゃんに会いにくるの？
GPT-4：モチくんは月に帰ってから、地球での楽しい時間とココちゃんのことをずっと考えていました。だから、きっとまた地球に遊びに来て、ココちゃんに会いたいと思ってるよ。

「次に地球に行くときは、もっとたくさんの遊びをしよう！」とモチくんは月で夢見ているんだ。

どうかな、はなちゃん、それでいいかな？🌙🐰

こども：はなも、モチ君に会いたいー！
GPT-４：わーい！それはきっとモチくんも嬉しいよ！次に地球に遊びに来たら、はなちゃんにも会いに行くんだって。モチくんは新しい友達に会うのが大好きだから、はなちゃんとも楽しい遊びをするんだよ。

「はなちゃんに会える日が楽しみだな！」とモチくんは月で思っているよ。

どう、はなちゃん、それで嬉しいかな？😄🌕

こども：うん、うれしい！いつ会いに来てくれるの？
GPT-4：モチくんは月で「次に地球に行く日を早く決めなきゃ！」と考えているよ。でも、月と地球の間はちょっと遠いから、ちょっと時間がかかるかもしれないね。

でもね、モチくんが次に地球に遊びに来るときは、きっとはなちゃんに会いに行くよ！それまでの間、楽しみに待っててね。

「はなちゃんに会える日が来るまで、月でいろいろな遊びを考えよう！」とモチくんは月で楽しみにしているんだ。

それで、はなちゃん、楽しみにしてくれるかな？🌟🐰


とまあ、こんなかんじでGPT-4はこどもが寝付くまで付き合ってくれますね。