ローカルLLM、LM Studio 0.4 バージョンアップ！

そういえば、気軽にローカルでLLMが利用できるLM Studioが
0.3から0.4にバージョンアップしました！
※0.1 ですが、結構変わってます。。

以下は以前の記事で、インストール方法などが書かれています！

アップデート完了！
今回は大きく分けて３つの新しいアップデートがあるようです。

Introducing llmster

For servers and headless automations

Our new headless mode can be deployed on remote servers, your own rig, or even in Jupyter notebooks.

Combined with lms server and parallel inference requests, you can deploy llmster to power your inference serving needs anywhere.

lms chat とコマンドを打つとCLI風？に利用できるようです。

コマンド実行などは直接実行できないようなので、ちょっと使いたいとき？などの利用でしょうか。

Parallel Requests

Serve multiple concurrent inference requests

Requests to the same model can now be processed in parallel, instead of queued. Try this feature by putting two chats side-by-side in the new Split View feature.

Supported for our llama.cpp engine, MLX coming soon!

隣のウィンドウの内容は見れていないようで、完全にパラレルな状態になっているようですね。

New REST API

Your models and your local MCPs, programmatically

Our new /v1/chat endpoint allows you to interact with your local models and give them local MCPs to use. Integrate into your own applications, automations, or workflows.

Check out the new embedded API docs in the developer tab!

以前からRESTAPIとして、動いてましたがMCP連携が出来るようになったようです。以前も使えてたような？。。。何が変ったのか、ちょっと良く分かりませんでした💦

起動～そして、note宣伝告知の自動生成プログラムを作る

まぁ。前から良かったですが、更に良いインターフェイスになりました。
モデル検索とかも見やすくなってますね。

急に、LM Studioを出し始めて何をしたかったかと言うと、Xの宣伝投稿の文書を毎回考えるのが面倒なので、作って貰いますｗ

↓　最終的にはChatGPTに正しくしてもらった💦

from openai import OpenAI

# LM StudioはOpenAI互換APIとして使える
client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio"
)

def generate_tweet(prompt):
    try:
        response = client.chat.completions.create(
            model="google/gemma-3-12b",  # LM Studioでロードしたモデル名
            messages=[
                {"role": "system", "content": "あなたは優秀なSNSマーケターです。"},
                {"role": "user", "content": prompt}
            ],
            temperature=0.8,
            max_tokens=300
        )

        return response.choices[0].message.content.strip()

    except Exception as e:
        print(f"LM Studioでのツイート生成エラー: {e}")
        return None


def main():

    prompt = """
以下の指示に従って、Twitterの投稿文を作成してください。

内容：AIと統計学による中央競馬の全レース予想の告知
前提条件：ツイート内容は短めに簡潔で、改行を適切に入れて、URLは１度記載されていればOK
トーン：明るめ、論理的で作成してください。
ハッシュタグ：#AI予想　など適切に加えてください

対象レース日付：02/15(日)
重賞レース：京都記念、共同通信杯
告知対象のURL：https://note.com/umanikomi/n/ne24d9c5ec282
備考：WIN5キャリーオーバー発動中
"""

    generated_tweet = generate_tweet(prompt)

    if generated_tweet:
        print("生成されたツイート:")
        print(generated_tweet)
    else:
        print("ツイートの生成に失敗しました。")


if __name__ == "__main__":
    main()

できました🙆‍♂️

最近、宣伝とはいえ、ツイートするのも面倒臭くなってきちゃっているのですが、次回から？面倒じゃなかったら使いたいと思います💦