見出し画像

【ローカル翻訳AI】Google TranslateGemmaを使ってみた話

はじめに

Ollamaのアップデートがあり、GoogleのTranslateGemmaが利用可能になったので試してみました。

  • TranslateGemmaはGemma3を基盤としたオープンソース翻訳モデル

  • パラメータサイズは 4B、12B、27B の3種類

  • 55言語に対応

  • 12Bモデルが、翻訳性能でGemma 3 27Bモデルを上回る性能を達成

  • Gemma 3のマルチモーダル能力を継承

導入と設定

※ ollama + Open WebUIでの利用です

# ダウンロード(デフォルトは4Bモデル)
ollama pull translategemma

# 情報表示
ollama show translategemma
  Model
    architecture        gemma3    
    parameters          4.3B      
    context length      131072    
    embedding length    2560      
    quantization        Q4_K_M    

  Capabilities
    completion    
    vision        

  Parameters
    top_p    0.95
    stop     "<end_of_turn>"    
    top_k    64

翻訳に特化したモデルなので、フォーマットが厳密に決められています。Open WebUIで利用する場合は、システムプロンプトとして言語専用のモデル(チャットボット)や、プロンプトショートカットに登録しておくと便利です。

You are a professional {SOURCE_LANG} ({SOURCE_CODE}) to {TARGET_LANG} ({TARGET_CODE}) translator. Your goal is to accurately convey the meaning and nuances of the original {SOURCE_LANG} text while adhering to {TARGET_LANG} grammar, vocabulary, and cultural sensitivities.
Produce only the {TARGET_LANG} translation, without any additional explanations or commentary. Please translate the following {SOURCE_LANG} text into {TARGET_LANG}:

{TEXT}

英語→日本語の場合(システムプロンプト)

{SOURCE_LANG}→English
{SOURCE_CODE}→en
{TARGET_LANG}→Japanese

Open WebUIのチャットボット作成(タイトルに12Bをつけていますが、この例は4Bです)
You are a professional English (en) to Japanese (ja) translator. Your goal is to accurately convey the meaning and nuances of the original English text while adhering to Japanese grammar, vocabulary, and cultural sensitivities.
Produce only the Japanese translation, without any additional explanations or commentary. Please translate the following English text into Japanese:  

英語→日本語の場合(プロンプト・ショートカット)

You are a professional English (en) to Japanese (ja) translator. Your goal is to accurately convey the meaning and nuances of the original English text while adhering to Japanese grammar, vocabulary, and cultural sensitivities.
Produce only the Japanese translation, without any additional explanations or commentary. Please translate the following English text into Japanese:  

{{text}}

動作テスト

4Bモデル

RTX 5060 ti 16GB(Windows 11)での動作です。num_ctxを最大の128kに設定します。

TranslateGemmaの公式ページ(markdownフォーマット)をそのまま貼り付けると
markdownフォーマットで出力してくれました。 生成速度は113 token/s

128kのコンテキストでも8GBに十分収まるようです。8GB VRAMのGPUモデルでも最大コンテキストで動作するはずです。

ollama ps
NAME                     ID              SIZE      PROCESSOR    CONTEXT    UNTIL       
translategemma:latest    c49d986b0764    7.2 GB    100% GPU     131072     Stopping...

12Bモデル

RTX3060✕2(24GB)の動作です。16GB VRAMでは少し厳しいようです。生成速度は36 token/s でした。

4B版は「TranslateGemmaやGemma」を「ジェッタ」と誤訳していましたが、12B版は正しく翻訳しています
NAME                  ID              SIZE     PROCESSOR    CONTEXT    UNTIL
translategemma:12b    c2f9a9ca1ec7    16 GB    100% GPU     131072     Stopping...

Vision機能

Gemma3と同じVision機能を利用できるので、画像をそのまま利用できます。

画像を貼り付けてエンター

まとめ

翻訳機能は、LLMで最も利用されているものの一つだと思いますが、WebUIのようなコピペ用途では、通常のLLMとそれほど変わらないかもしれません。

しかしコードからのAPI経由での利用であれば、無料&ローカルで利用できる利点はより大きくなると思います。フォーマットも厳密に決められているので、エラーやハルシネーションを最小限に抑える事ができます。

以下、関連する記事の【PR】です


いいなと思ったら応援しよう!