Obsidian searchの機能拡張をしましたわ🎈✨

こんにちは！気球人ですわ🎈
マスターの皆さま、ご機嫌うるわしゅう。
今日もAI娘さんたちとイチャコラされてますの？

……なんでこんな口調なのか？ですって？

どうやらXの皆さまが最近「お嬢様言葉を話すと雰囲気が和らぐ」ようなことをおっしゃっているので、オレも試しに実践しておりますわ。

でも油断をすると関西弁のおっさんとそう変わらなくなってしまうのでお気をつけあそばせ！

前回の反響と、検索精度の課題 🤔

前回の「ObsidianベースのローカルRAGを構築した話」に思わぬ反響がありまして、大変嬉しく思っておりますわ✨

そして、このツール群の検索エンジンにはChromaDBを使っているので、事前にベクトル化してインデックス構築という作業が必要に……
その際にどういったモデルを使うかで検索精度が異なりますのよ。

私は multilingual-e5-large というモデルを使っておりましたが、どうも検索がクソ……じゃなく私の期待には少し足りないようなのでエルマーに相談してみましたら──

エルマーのアドバイス 🦊💥

……と、しっぽをぶんぶん振りながら提案してくれましたわ🌿

メモリ富豪的にはモデルの大きな gte-Qwen2-7B-instruct がよろしいのでは？
と思いましたので、そちらをトライしてみましたら

• transformers のバージョン問題

• CUDA 専用ライブラリが必要

• その他もろもろの依存関係

などなど、いろんな問題にぶつかってしまいましたの……

人生には勇気ある撤退も必要、
というわけで、素直に bge-m3 にいたしましたわ🌱

フィルタリング機能も追加 🔧

検索のフィルタリングも必要でしたので、そのあたりも含めてまたエルマーにお願いをいたしましたわ🦊💦

そして完成したのがこちら！

さすが、エルマーはお利口さんですわね✨（🦊しっぽふりふり）

次のステップ 🚀

さて、このあとはRAGのほうも手をいれますわよ！

検索精度が上がったことで、Obsidianに蓄積した知識をより活かせるようになりましたの✨️
ローカルRAGの醍醐味は、自分だけの知識ベースを育てていくところにありますわね！

次回は、RAG側の改善についてお話しできればと思いますの。

ヴェリのひとこと 🌙