日本語が使えるようになったGoogle PaLM2を試す

今日からGoogleの大規模言語モデルPaLM2で、日本語が使えるようになりました。また、コード生成モデルCodeyも日本語が使えるようになりました。

早速、PaLM2のサンプルプログラムを動かしてみました。

まず、Google Cloudにサインアップする必要があります。続いて、Google Cloud上でプロジェクトを作成します。この辺りはGoolge Cloudの公式ヘルプや良い解説がたくさんあるので割愛。

そして、Vertex AIのページに移動します。Vertex AIとは、Goolge CloudにおけるAIまわりをまとめた総称みたいなやつです。

「全ての推奨APIを有効にする」をクリックして、作成したプロジェクト内でVertex AIのAPIを使えるようにします。

Model GardenからPaLM2 for Textのページに行くと、ドキュメントを参照できます。

Google Colab上で動かせるサンプルプログラムも載っているので、それを使ってみましょう。

まず、google-cloud-aiplatformのSDKをインストールします。

!pip install google-cloud-aiplatform == 1.25.0

つづいて、PaLM2を呼び出す関数を定義します。

from google.colab import auth as google_auth
google_auth.authenticate_user()

import vertexai
from vertexai.preview.language_models import TextGenerationModel

def predict_large_language_model_sample(
    project_id: str,
    model_name: str,
    temperature: float,
    max_decode_steps: int,
    top_p: float,
    top_k: int,
    content: str,
    location: str = "us-central1",
    tuned_model_name: str = "",
    ) :
    """Predict using a Large Language Model."""
    vertexai.init(project=project_id, location=location)
    model = TextGenerationModel.from_pretrained(model_name)
    if tuned_model_name:
      model = model.get_tuned_model(tuned_model_name)
    response = model.predict(
        content,
        temperature=temperature,
        max_output_tokens=max_decode_steps,
        top_k=top_k,
        top_p=top_p,)
    print(f"Response from Model: {response.text}")

最後に、関数を呼び出します。関数を呼び出すとき、"${PROJECT_ID}"を入れる必要があるのですが、それは、プロジェクト一覧から参照することが出来ます。

predict_large_language_model_sample("${PROJECT_ID}", "text-bison@001", 0.2, 256, 0.8, 40, '''Give me ten interview questions for the role of program manager''', "us-central1")

おすすめのアニメを聞いたら鬼滅の刃を紹介してくれました。

ちなみに、LangChainからも呼び出したりできるようです。色々試してみたいです。