号外編：UGRREN NASでローカルLLMを使うの巻

はじめに

　昨今、AIブームとも言える状況下、日常生活でAIを使うという生活様式が次第に定着しつつあります。
また、米国、C国を中心とした技術開発は日進月歩であり、毎週のようにニュースが報道され、新しいサービスのリリース、既存サービスの飛躍的なバージョンアップが行われています。
　一方、庶民たる我々はこの恩恵をいかにして享受し、仕事、日常生活に役立てていけるかを考えていきたいと考えている今日この頃です。
その中で、AIを活用する秘訣として、「AIが自分のことを理解できている」という状況を作り出せることができれば、AIのパワーメントを最大限活かしつつ、「自分が求める成果を得られる＝自分の生活、人生を価値ある満足のゆく状況」へと導くことができのではないかと感じています。
　そういった壮大な構想の小さな第一歩として、「自分の身近かにAIを」というコンセプトのもと、自前の設備で非力ながらAIを稼働させる環境の検討を進めています。
　今回は、UGREEN社のNASync DXP4800 Plus上にAI環境を構築し、動作確認までこぎつけたので、経緯をレポートしたいと思います。

前提条件

さて、ローカルLLMを動かすために必要な条件はなんでしょうか？
AIに聞いてみました。

これらの項目で一番重要なのは、RAMです。このNASは標準が8GBですが、32GBに拡張してあります。そのため、多少メモリを必要とするモデルは動作するはずです。
ストレージはSSDを推奨とありますが、昨今のSSD価格高騰の折、目をつむることにしました。
CPUはN100なので処理速度は期待できませんが、何とか動いてもらえればと思いました。

ローカルLLMインストール結果

　以降は、こちらの記事をご参照願います。

環境設定の手続き

　ここからは、実際にNAS上にローカルLLMを設定する手順についてまとめます。

UGREENのNASであるDXP4800 Plusは、Intel CPUを搭載した高性能なモデルですので、Docker（Container Manager）を利用することでOllamaを動かすことが可能です。
ただし、DXP4800 Plusには強力なNVIDIA製GPUが搭載されていないため、基本的にはCPUによる推論になります。モデルのサイズ（パラメータ数）によっては動作が重くなる可能性があるため、軽量なモデル（Llama 3 8BやPhi-3など）を選ぶのが現実的です。
以下に、最も管理しやすく推奨される「Dockerを使った手順」を解説します。

準備するもの