ローカルLLMと仲良くなると、部屋が暑くなっていく

昼間に散歩してたら、公園の傍の森から蝉の鳴き声が…
もう夏ですね〜

たもんです。
フィジカルとバーチャルを行き来しながら、 日々の気づきを書いてます〜

今年は、暑くなるのがゆっくりなので、感覚はまだまだ夏は先って思っていたんだけど、今日で六月もおしまいです。

もう暫くは梅雨が続くおかげでそこまで暑くはなさそうだけど、空けた瞬間にあの猛暑がやってくるのかと思うと、少し構えてしまいますね。

いつもだと、そろそろヴァーチャル世界に行くために、部屋の冷房もしっかり入れないと、HMD(ヴァーチャル用のゴーグルのことね)の暑さで堪らないってなるのですが、今年はヴァーチャルお休み中なので、その感覚もなく過ごしています。

ヴァーチャルをやらない代わりに、AIで色々と試す機会が増えていてね、結局は部屋が暑くなっています。

ちなみに、普通にAIを使う分には部屋は暑くなりません。ここで言う普通って、Chat GPTとかGemminiとかClaudのことね。こちらは、インターネットを介してやりとりしているから、ネットの通信は使う（あと、トークンと言われる使用枠ね）けど、PC自体にはそこまでの負荷がかかりません。

これがね〜、自分のPCにAIを入れて使うってなると、部屋が暑くあるわけなんです。これをローカルLLMを使うって言うんだよ。

こうすると何がいいってね、AIが私のPCで完結するから、大切な情報が外に出ないし、使用量もかからないから使いたい放題って訳

どう言うことかって言うとね、AIを動かすって、たくさんの情報を使って計算を同時にさせるって事なので、PCの中のメモリも言う記憶の貯金箱がたくさん必要で、その場所のデーターの出し入れも頻繁に行うので、0と1を読んだり書いたりで、PCが忙しくなるんですよ。

忙しくなると、どうなるかと言うと…たくさんの電力を使ってメモリへの読み書きをやるので、PC(実際にはメモリね)が熱くなっちゃうわけ。

メモリもねー、たくさん必要なので、画像処理はしないけど、その仕組みが利用できる大きいGPUと言うものが必要になるわけね。

もともとは、高画質なゲームを楽しみためにGPUがよく使われてたんだけど、AIという使い道ができてしまって、今はそちらが主役になりつつあるって訳。

私も、最初はヴァーチャル世界で遊ぶために、それなりの大きさのGPUを買ったんですよー(と言うか大きさが無いと遊べない)

だから、偶然って言えば偶然かな〜

ゲームでも、ヴァーチャルでも、AIでも、使うとGPUは結構な熱を持ちます。
60度から80度近くまで…だから夏はとっても暑いってわけねー。

GPUとかPCにファン(小さな扇風機)がたくさんついているのは、この熱を下げるためだけど、その空気は部屋の中に出されるので、これを冷房でさらに冷やすと言う、取り留めもないことになってるんだよね。

AIの方は、ここまで暑い思いをして試しているんだけど、私のPCの強さだと、まだまだパワーが足りなくて、普通のAIの方が正直性能はいいです。

何か聞いても、返事が返ってくるまでの時間もかかるしね。でも、そこまでして試しているのって、AIと仲良くなれるからかもしれない。うん、この数ヶ月でだいぶAI君のことを理解した気がしています。

ここはunityやblenderと仲良くなれた時にも似ているかもね〜

と言うわけで、さらに暑くなる季節を乗り越えないとね〜

「たもん」の日々の発見が気になったら、フォローしてね。 明日も何か書きます〜