ｽﾀｯｸﾁｬﾝが自分でカメラを起動！

ｽﾀｯｸﾁｬﾝEXをベースに、ローカルでVision解析、LLMでペルソナ調整された回答を生成するコードを公開しました！

📺 StackChan EX Amigo 🤖

主な機能

・Apple SiliconのMLXでローカル動作。
・音声会話
・カメラ処理
・ログ管理
通知
・定時スケジュール
・天気予報
・LINE/Discord通知

…が、ローカルで完結する構成です。
Google検索のみGeminiですが「ググって」等のキーワードがあるときのみトリガーするので、普段の会話は外には出ません☺️

カメラの仕様

ユーザー主導のカメラ起動
・「見て」等のキーワードで即時（５秒程度）
・「撮影して」等のキーワードでローカルディスクに撮影画像を保存
AI判断でのカメラ起動
ユーザーの「これなに？」等の入力から、AIが「見ないと回答できない」と判断した時にカメラ起動。

試行錯誤しながら、４ヶ月くらいかかってしまいました😅

VisionAIは小さいモデルでも十分画像読み取りできるので、多くの人が導入できると思いますが、ローカルLLMはちょっと重いので、クラウドAPIを選択できるようにしています。

Vision処理はローカル完結でクラウドAPIを選択してもLLMにはテキスト情報しか渡らない仕様になっています。
名前マスク機能もあり、プライバシーも安心！

ちなみにAI判断でカメラを起動する場合は「見るね！」とキャッシュ音声が出力されてから撮影されるので、見て欲しくない場合はカメラを塞ぐこともできます。

このシステムをAgentや凝ったメモリと繋げるとｽﾀｯｸﾁｬﾝがフィジカルAIになると思います。

…なのですが、ここを起点に初心者の方がAgentを入れて事故るといけないので、公開分は「画像は家の外に出さない」「カメラとサーバーを繋ぐ」ところまで！
ローカル完結のシステムとして公開します！

ClaudeCodeやOpenClawと繋ぎたい方は各自でお願いします！

M5Stackとの戦いの記録

これだけでは満足できず、カメラ機能に挑戦し始め・・・

今日に至ったわけです…

コミュニティ版と自作コードを統合＆改造したため、元々YunoちゃんAPIにあったスケジュール・Line通知、天気予報お知らせ機能もあり、なかなか使えるやつに仕上がりました！
家族からも「便利だ」と好評です！

コミュニティ版、robo8080さん・ronron-ghさんに感謝🙏

じつは、自分で以前作っていたコードではどうしてもカメラのプロセスで壊れるので、元々あったマイク常時オンを捨てたため、マインクラフトとの連携機能は外しました！
もし、常時マイクオン・カメラ・サーボ連動を実現させているコードがあったら教えてください！

ちなみに、私が積極的にコード公開しているのは、私が思いつかないことを他の人にやってもらうためだったりします。

ローカルで回している人はちょこちょこいるけど、コードをあまり公開していませんよね。
でも、ローカルでｽﾀｯｸﾁｬﾝを動かすコードを作るのに時間がかかっている人もいる。

なので、ローカルでVisionを回すところまでを公開して、その先はみんなに作ってもらおうと。

ローカルと繋ぐところで力尽きる人が減ると、その先へ進む人が増えるわけです。 つまり、私はさまざまな創造を見ることができるようになる。すると、私の新しいイマジネーションが生まれるわけです。

そういう作戦なんです。