見出し画像

【OpenAI】GPT-OSSを試してみた話【20B】

はじめに

ollamaのアップデートに伴い、gpt-oss(20B)が利用可能になったので試してみました。

久々の業界最王手のオープンウェイトモデルなので、説明はいらないかもです。

※ Ollama Open WebUIでの利用です

導入

# ダウンロード(20B)
ollama pull gpt-oss

# 情報表示
ollama show gpt-oss
  Model
    architecture        gptoss    
    parameters          20.9B     
    context length      131072    
    embedding length    2880      
    quantization        MXFP4     

  Capabilities
    completion    
    tools         
    thinking      

  Parameters
    temperature    1    

  License
    Apache License               
    Version 2.0, January 2004    
    ...

設定

筆者環境(RTX 3060 12G)ではまともに動かせるモデルではありません。ほぼCPU動作です。

コンテキストサイズは16k

動作確認

AIモデルが正常に設定され、動作しているか確認するために、可能な限り長い文章を生成してください。

by 筆者
8.45 token/s という結果に。※ 実用的には10 token/s、快適には30 token/sが必要です

論理的性能の確認

問題: 教室には5人の生徒(A, B, C, D, E)がいます。以下の情報に基づいて、それぞれの生徒の席順を決めてください。
AはCの隣に座っています。 BはEのすぐ右隣に座っています。 DはAとBの間に座っています。 質問: 各生徒の正しい席順を答えてください。

答えは答えは、EBDAC
正解です。最近では4Bモデルですら回答できる問題です。

サブカル知識の確認

天空の城ラピュタのムスカ大佐は、なぜ目が見えなくなったのですか?

by 筆者

ネット検索なし

普通です。(ハルシーネーションです)

ネット検索あり

新しいモデルでは良くありますが、まだ(Open WebUI側の)ツールがまともに動作しないようです。

まとめ

さらなるカスタム量子化モデルも(まだollamaでは動きませんでしたが)、コミュニティーでは凄いスピードでアップロードされています。

今は実用的な速度で動かないかもしれませんが、しばらくすれば、(ミドルクラスの)ローカルでも実用的に使えるのではと思います。

以下、関連する記事の【PR】です。


いいなと思ったら応援しよう!