数兆パラメータの時代に、無料GPU環境で3Bモデルを動かしたら想像以上だった

!pip install -q transformers accelerate sentencepiece protobuf bitsandbytes

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, TextStreamer

MODEL_NAME = "Nanbeige/Nanbeige4.1-3B"

# 4bit量子化の設定
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_quant_type="nf4",
)

tokenizer = AutoTokenizer.from_pretrained(
    MODEL_NAME, use_fast=False, trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    quantization_config=quantization_config,
    device_map="auto",
    trust_remote_code=True
)

# ストリーミング表示用（思考過程がリアルタイムに流れます）
streamer = TextStreamer(tokenizer, skip_special_tokens=True)

def generate(messages, max_new_tokens=16384, temperature=0.6, top_p=0.95, stream=True):
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True, tokenize=False
    )
    input_ids = tokenizer(
        prompt, add_special_tokens=False, return_tensors="pt"
    ).input_ids.to("cuda:0")

    with torch.no_grad():
        output_ids = model.generate(
            input_ids,
            max_new_tokens=max_new_tokens,
            temperature=temperature,
            top_p=top_p,
            eos_token_id=166101,
            do_sample=True,
            streamer=streamer if stream else None,
        )
    return tokenizer.decode(
        output_ids[0][len(input_ids[0]):], skip_special_tokens=True
    )

+------------------------------------------+------------------------+
| GPU  Name                 Persistence-M  |  Memory-Usage          |
+==========================================+========================+
|   0  Tesla T4                        Off |    1623MiB /  15360MiB |
|   1  Tesla T4                        Off |    2853MiB /  15360MiB |
+------------------------------------------+------------------------+
GPU 0: 1.0GB / 14.6GB 使用中
GPU 1: 2.3GB / 14.6GB 使用中

messages = [
    {"role": "user", "content": "量子コンピュータについて、中学生にもわかるように説明してください。"}
]
response = generate(messages)

messages = [
    {"role": "user", "content": """Pythonで以下の要件を満たすスクリプトを書いてください：

1. 以下の売上データをpandasのDataFrameとして作成
   - 月: 1月〜6月
   - 売上: [120, 150, 180, 90, 200, 170]（万円）
2. matplotlibで棒グラフを描画
3. 日本語のラベルを表示
4. 売上が最大の月をタイトルにハイライト表示

コードだけを出力してください。"""}
]
response = generate(messages)

# モデルが生成したコード（抜粋）
import pandas as pd
import matplotlib.pyplot as plt

months = ['1月', '2月', '3月', '4月', '5月', '6月']
sales_data = [120, 150, 180, 90, 200, 170]
df = pd.DataFrame({'月': months, '売上': sales_data})

fig, ax = plt.subplots(figsize=(10, 6))
ax.bar(df['月'], df['売上'], color='skyblue', edgecolor='black')

# 売上最大の月を赤色にハイライト（モデルが自発的に追加）
max_sales = df['売上'].max()
for bar in ax.patches:
    if bar.get_height() == max_sales:
        bar.set_facecolor('red')

tools = [
    {
        "type": "function",
        "function": {
            "name": "search_weather",
            "description": "指定した都市の現在の天気情報を取得します。",
            "parameters": {
                "type": "dict",
                "properties": {
                    "location": {"type": "string", "description": "都市名（例：東京、大阪）"}
                },
                "required": ["location"]
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "search_web",
            "description": "Webを検索して情報を取得します。",
            "parameters": {
                "type": "dict",
                "properties": {
                    "query": {"type": "string", "description": "検索クエリ"}
                },
                "required": ["query"]
            }
        }
    }
]

{"name": "search_weather", "arguments": {"location": "東京"}}

{"name": "search_web", "arguments": {"query": "2026年 日本 AI市場規模 規模予測"}}

messages = [
    {"role": "user", "content": """次の論理パズルを解いてください。

A, B, C, D の4人がレースをしました。
- AはBより先にゴールした
- CはDより後にゴールした
- BはDより後にゴールした
- AはCより後にゴールした

ゴールした順番（1位から4位）を答えてください。"""}
]
response = generate(messages)