見出し画像

Gemma 3ーーグーグル版「DeepSeek」発表！27Bモデルは単一GPUで動作、フルスペックDeepSeek V3/o3-miniを上回る

Trans-N

ポイント

  • グーグルが最新AIモデル「Gemma 3」を発表し、単一GPUで動作可能な高効率モデルを提供

  • 27BモデルはDeepSeek V3、o3-mini、Llama-405Bを上回る性能を示し、R1に次ぐ高評価を獲得

  • 他の同等性能モデルと比較して、必要な計算資源が最大32分の1と非常に効率的

  • ChatBot Arenaでトップ10入りし、オープンソースモデルとしても最高水準の性能を発揮

  • 128Kのコンテキストウィンドウをサポートし、多言語・マルチモーダル対応（35以上の言語、画像・テキスト・動画解析）

  • Hugging Face、Ollama、Kaggleなどのプラットフォームで利用可能

  • NVIDIAが最適化に関与し、幅広いGPUで高パフォーマンスを発揮

  • ShieldGemma 2も発表され、画像安全性チェック機能を搭載

  • Google独自のTPUやAMD GPUにも最適化され、開発者向けの調整・カスタマイズが容易

  • 1周年を迎え、Gemmaシリーズのダウンロード数は1億回を超え、6万以上のバリアントが誕生

本文

単GPUで動作可能な最強モデルが登場！ グーグルの最新モデルGemma 3は、オープンソースと高効率を特長とする。 27Bモデルは、671BのフルスペックDeepSeek V3モデル、o3-miniモデル、Llama-405Bモデルを容易に打ち破り、R1に次ぐ性能を示した。

必要な計算資源から見ると、他のモデルが同程度の性能を実現するには、少なくとも10倍の計算資源が必要となり、場合によっては最大で32倍にも達する。

ChatBot Arena大規模モデル競技場においても、Gemma 3はトップ10にランクインし、同等のパラメータ数を持つモデルの中でSOTA（State-of-the-art：最高水準）を達成、オープンソースモデルの中ではR1に次ぐ性能を誇る。

【和訳】
GoogleDeepMindの最新モデル「Gemma-3-27B」は、Arenaで最強クラスのオープンモデルの一つとしてランクインしました！
・総合トップ10入り —— 27Bパラメータながら、多くの独自モデルを上回る実力
・オープンモデルとしてはDeepSeek-R1に次ぐ第2位
・128kのコンテキストウィンドウに対応
詳しくは彼らのブログをご覧ください。今後の展開がとても楽しみです！

ネットユーザーからは驚きの声が相次ぎ、特に単一GPUで動作することと128Kのコンテキストウィンドウに強い印象を受けたという声が多く聞かれた。

【和訳】
raj (@Lumpish_Lord) 「シングル H100 🏆🏆🏆」
Mikolaj Piech (@mikolajpiech) 「すごいですね！ それと、Gemini 2.0 Flash Thinking を今日一般公開する予定はあるんですか？」
【和訳】
scuzzlebot (@scuzzlebot) 「Gemma 3 の 128k トークン・コンテキストウィンドウは、オープンモデルとしては特に印象的ですね。短いコンテキストと比べると、どのような性能上のトレードオフがあるのでしょうか？ それから、1Bパラメータ版でもこのフルコンテキストウィンドウに対応しているのですか？」
Securade.ai (@securadeai) 「あの 128K のコンテキストウィンドウは本当に画期的ですね。マルチモーダル対応や端末上での高速推論も重要な特徴だと思います。サイズが異なるオプションもぜひチェックしてみたいです。」

しかし、この展開に既視感を覚える人もいる一方で、なぜQwQ 32Bとの比較がないのかを疑問視する声も上がっている。

【和訳】
Sambhav Gupta (@sambhavgupta6) 「qwq32Bをローカルで実行するには、どの程度の計算資源が必要でしょうか？ Gemma3と比較していただけますか？」
【和訳】
Nimaano (@Nimaano_) 「なぜ Qwen 32 との比較はないのでしょうか？」

現在、Gemma 3はGoogle AI Studioで直接体験できるほか、Hugging Face、Ollama、Kaggleなどのプラットフォームでもダウンロード可能となっている。

単一のGPUで実行できる最も強力なモデル

今回、Gemma 3には4つのバージョンがあり、27Bが最大で、他に1B、4B、12Bがある。事前学習済みモデルもあれば、汎用的な指示に従うように微調整されたバージョンもある。

展開を見ると、主な特徴は以下の通りである。

単一GPU/TPUで動作：Gemma 3は単一GPU/TPUで動作する場合、LMArenaランキングの初期の人間の好みによる評価において、Llama-405Bモデル、DeepSeek-V3モデル、o3-miniモデルを上回る性能を示した。

これほど効率的なモデル性能をエッジデバイスへの展開に活かさないのはもったいない。グーグルも専用のチュートリアルや事例を用意しており、手取り足取り教えてくれる丁寧さです。

例として、10億パラメータモデルの量子化版をスマートフォン上で動作させる例をご紹介します。（動画は元記事を参照）

Samsung Galaxy S24 Ultraでの動作性能は以下の通りです：

また、PCのWebブラウザ上でSNSコンテンツをローカルで作成する例もご紹介します。（動画は元記事を参照）

MacBook Pro 2023（Apple M3 Proチップ）での性能は以下の通りです：

マルチモーダルと多言語：画像、テキスト、ショートビデオなどのモーダルを分析可能である。

【和訳】
「スライス肉だけ食べたんだけど、いくら払えばいい？ 18％のチップも含めて教えて」
「以下はレシートをもとにした費用とチップの内訳です:
スライス肉の料金を特定：レシートには「1x Zürcher Geschnetzeltes + Rösti」が 36.50 CHF で記載されています。これは、スライス肉の料理と Rösti（ジャガイモの細切りを揚げた付け合わせ）のセットです。
18% のチップを計算：チップ = 36.50 CHF × 0.18 = 6.57 CHF
支払い合計を計算：合計 = スライス肉の料金 + チップ = 36.50 CHF + 6.57 CHF = 43.07 CHF
よって、18% のチップ込みで約 43.07 CHF を支払う必要があります。」

言語対応については、35以上の言語をすぐに使える状態でサポートしており、さらに140以上の言語に対する事前学習済みモデルもサポートしている。

多様なツールをサポートし柔軟な開発に対応：Hugging Face Transformers、Ollama、JAX、Keras、PyTorch、Google AI Edge、UnSloth、vLLM、Gemma.cppなどのプラットフォームをサポート。

128kトークンのコンテキストウィンドウ。

さらに、関数呼び出しや構造化された出力もサポートしており、タスクの自動実行とエージェントの構築を支援する。公式は量子化バージョンも導入した。

グーグルはShieldGemma 2も発表した。：Gemma 3をベースに構築された40億パラメータの画像安全性チェッカーである。開発者はShieldGemma 2を自身のセキュリティニーズに合わせてカスタマイズできる。

技術的な詳細

モデルと同時に公開された、25ページにわたる技術レポートも存在し、その中には多くの詳細が含まれている。

どのようにトレーニングするのですか？

今回、蒸留、強化学習、モデルの統合などの手法を組み合わせることで、Gemmaの事前学習と事後学習のプロセスを最適化した。 

Gemma 3はGemma 2と同一のトークナイザーを使用し、140以上の言語をサポートする。さらに、JAXフレームワークを用いて、Google TPU上で10億パラメータモデルは2兆トークン、40億パラメータモデルは4兆トークン、120億パラメータモデルは12兆トークン、そして270億パラメータモデルは14兆トークンで訓練された。

Post-Trainingにおいて、Gemma 3は以下の4つの要素を用いた。

  • より大規模な指示モデルからGemma 3の事前訓練済みチェックポイントを蒸留。

  • RLHF（人間のフィードバックによる強化学習）：モデルの予測を人間の好みに合わせる。

  • RLMF（機械フィードバックからの強化学習）：数学的推論能力を強化する。

  • RLEF（実行フィードバック強化学習）：コーディング能力を向上させる。

このアプローチにより、数学、コーディング、指示追跡における性能が向上し、LMArenaスコアは1338点に達した。

以前のバージョンとの比較：

原文の最終ページには主要な著者が記載されており、共同第一著者は合計16名である。

OMT：NVIDIAが最適化に直接関与

技術報告書には、以下の特筆すべき点も記載されていた。

まず、NVIDIAがGemma 3モデルの最適化に直接的に関与し、Jetson Nanoから最新のBlackwellチップに至るまで、あらゆるGPUで最高のパフォーマンスを発揮できるようにした。

また、NVIDIA APIカタログにもGemma 3が掲載され、APIを呼び出すだけで迅速なプロトタイプ設計が可能である。

Google独自のTPUに対してもGemma 3は最適化されており、オープンソースのROCmTMスタックを介してAMD GPUと統合されている。CPUソリューションも存在する。

Gemma 3には、効率的なファインチューニングと推論のためのレシピを含む、改良されたコードライブラリも付属する。開発者は、特定のニーズに応じてモデルをカスタマイズおよび調整可能である。

他のモデルが活況を呈する現在、Gemmaシリーズは1周年を迎え、ダウンロード数は1億回を超え、コミュニティでは6万以上のバリアントが誕生した。

現在、オープンソースモデル分野における競争は、ますます激化している。

最後に、興味のある方は以下のリンクを直接クリックされたい。

参考リンク： [1]https://blog.google/technology/developers/gemma-3/ [2]https://x.com/sundarpichai/status/1899779090472644881?s=46 [3]https://developers.googleblog.com/en/introducing-gemma3/

元記事