Gemma4+VOICEVOXを使ったAIデスクトップマスコット「おさわり彼女」をつくってリリースしました(Win/Mac対応)

AIデスクトップマスコット「おさわり彼女」

概要

タッチおさわりされた部位に対して反応し、キャラクター属性に応じてセリフを声で返すAIデスクトップマスコット「おさわり彼女」をBoothでリリースしました。
無料で配布しています。
Windows、Mac対応。

Ollama(Gemma4等の画像認識モデル)とVOICEVOXがローカルPCに必要です。
ローカルLLMなのでお触り無料です。

背中をさわると「背中をさわられたんだな」とAI Gemma4が判断してキャラクター属性に応じたセリフを出力します。

キャラクターを右クリックすると
着替えが依頼できる

着替えの依頼も「衣装」「キャラクター属性」に応じたセリフをローカルLLMが生成して返すー＞VOICEVOXで音声で再生。

アーキテクチャ

1. 足をマウスでタッチ

2. 足にタッチした画像とキャラクター属性をOllamaに送信

3. Ollama (Gemma4 e4b)が画像とキャラクター属性を元にセリフを生成

4. アプリケーションに返す、アプリケーションがVOICEVOXにテキストを送信

5. VOICEVOXが音声をアプリケーションに返却

「おさわり彼女」使い方

推奨環境

■Ollamaモデル
Gemma4:e4b (9.6GB)で動作確認かつ、推奨モデル。
画像認識モデルであることが必須。
Gemma4シリーズ、Qwen3.5シリーズがおすすめ。

■ビデオカード
GPUメモリが16GBあるビデオカード
Ollamaのモデル内サイズが収まるメモリを確保する必要がある。 

ビデオカードがメモリが足りない場合はPCのメモリを使うことになりますのでレスポンスは遅くなります。

とりあえずe4b(9.6GB)を使うならPCメモリが16GBあれば動作はします。
Mac Air M1(PCメモリ16GB)でも動作確認しています。 

環境構築

ollamaをインストールします

Gemma4モデルをインストールします

ollama run gemma4:e4b

モデルは起動しなくてよいです。
/byeでollama CLIは抜けてよい。

サーバーとして使うためollamaに接続できない場合はWindowsの環境構築に以下を設定しておく（とりあえずしておいたほうがベター）

VOICEVOXインストールして起動する

GUIが立ち上がるとサーバーとしても起動している

起動

うまくOllamaとVOICEVOXに接続していると
「こんにちわ」的なセリフをキャラクター属性に応じてOllamaが生成し音声で返す

接続できないときはその旨を返すので設定画面で確認してください

設定

タスクバーにアイコンがあるのでそこから「設定」を押す

設定画面では、キャラクター、Ollama、VOICEVOXの設定ができます

⚙️キャラクター画像設定

キャラクター画像が切り替えできます
キャラクターパックは今後作る予定

⚙️Ollama接続設定とプロンプト

Ollamaのネットワーク設定やモデルが選択できます
Ollamaのネットワーク設定ができるので、ローカルPCが貧弱でも他のマシンのOllamaに接続してGPUをレンタルすることができます。

家に高いスペックPCがないよ＞＜という方は一時的にrunPodを使うのもいいでしょう。

キャラクター属性一覧

キャラクター属性を妹にするとそれっぽいセリフに変化

⚙️VOICEVOX設定
好きな話者に変更できます
VOICEVOXと同じパラメーターが設定できます

後ろ姿依頼

画像があれば後ろ姿にできる

セリフもキャラクターに応じてしゃべる
後ろのさわっている画像でOllamaのモデルがどこを触れたか判定する。

着替え依頼

着替え依頼も「衣装名」をみてキャラクター属性に応じたセリフをLLMが生成

アラーム設定

デスクトップマスコットなのでアラーム設定ができます
ローカルLLMらしくキャラクター属性に応じてアラームのセリフも変化

拡張プロンプトについて

ちょっと反応がエッチになる拡張プロンプトを有料で販売しています。

hardサンプル動画

hard2サンプル動画

以上、「おさわり彼女」の紹介でした
是非ダウンロードして使ってみてください
Boothやnoteでフィードバックのコメントお待ちしております
感想いただけるとありがたいです😊

以降有料パートでは、あなたが同じようなAIデスクトップマスコットを作るときに参考になるであろう以下の情報を記載します。

• [1] デスクトップマスコットアプリの作り方

• [2]「おさわり彼女」のLLM起動トリガーの全体設計

• [3] 体の部位のタッチを判定する内部プロンプト

• [4] Gemma4 Visionモデルでの体の部位タッチ精度の上げ方

• [5] ソフトのカスタマイズ方法: プロンプトの拡張方法

私が今回のAIデスクトップマスコットを作る時に苦労した点が特に[3][4]なので、作成時にここを読むと作成時間をショートカットできます。

[1]に関してはすぐにモックアプリがご自身で作れるようにキャラクター画像をダウンロードできるようにしています。

AIデスクトップマスコットの作り方