PaliGemma 2

Google の PaliGemma 2 視覚言語モデルを Serverless Cloud API 経由で使用します

PaliGemma 2 は Google の視覚言語モデルです。画像とテキストプロンプトを受け取り、テキスト応答を返します。PaliGemma 2 は当社の サーバーレス Cloud API, 専用デプロイメント、および セルフホスト型 Inference.

コード例

1

API キーを取得する

Roboflow アカウントを作成し、キーを次の場所で見つけてください。 Roboflow API 設定ページ そしてシェルから使えるようにします。

export ROBOFLOW_API_KEY="your-key-here"

2

依存関係をインストールする

次をインストールします。 Inference SDK:

pip install -U inference-sdk supervision

3

モデルを実行する

サンプルは事前学習済みの paligemma2-3b-pt-224 チェックポイントをキャプションプロンプトで呼び出します。

import os
import supervision as sv
from inference_sdk import InferenceHTTPClient

image = sv.load_image_from_url("https://media.roboflow.com/quickstart/dog.jpeg")

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer_lmm(
    image,
    model_id="paligemma2-3b-pt-224",
    prompt="caption en",
    max_new_tokens=64,
)
print(result["response"])

上記のコードはモデルの応答をターミナルに出力します:

ここでは男性の肩の上に犬が見えます

推論速度

レイテンシは以下で測定： Roboflow Inference 1x NVIDIA L4、バッチサイズ 1 で、固定プロンプトから貪欲デコードを用いてちょうど 128 トークンを生成した場合。レイテンシは出力長に比例するため、他の長さを見積もるには tokens/sec を使用してください。

エイリアス	レイテンシ、128トークン（ms）	トークン/秒
paligemma2-3b-pt-224	3986	32

設定してください api_url をデプロイ先に合わせてください：

• https://serverless.roboflow.com Serverless Cloud API 用です。

• http://localhost:9001 ローカルの Inference サーバー。

• あなたの 専用デプロイメント プライベートエンドポイント用の URL。

Roboflow で独自の PaliGemma 2 チェックポイントを学習し、モデルごとの {workspace}/{model-slug} ID（参照 バージョン、トレーニング、モデル）。次を参照 推論ドキュメント 追加のプロンプト形式とサポートされているチェックポイントについて。

PaliGemma 1（レガシー）

元の PaliGemma リリースは、今でも inference パッケージを使ってお使いのハードウェアで読み込めます。新しいプロジェクトでは上記の PaliGemma 2 を使用してください。このセクションは既存の統合のために残されています。

パッケージをインストールします:

pip install "inference[transformers]"

使用するには inference-gpu[transformers] を GPU マシン上で。

視覚的質問応答

from PIL import Image

from inference.models.paligemma.paligemma import PaliGemma

model = PaliGemma("paligemma-3b-mix-224", api_key="YOUR_API_KEY")

image = Image.open("image.jpeg")
result = model.predict(image, "この画像には何匹の犬がいますか?")

print(result)

物体検出

PaliGemma は検出結果を <loc####> トークンとして出力し、JSON ではないため、可視化する前に応答を解析する必要があります。次のようにプロンプトを与えます: detect <class>; <class> そしてトークンをボックスにデコードします:

import re
from typing import List, Optional, Tuple

import numpy as np
import supervision as sv

_DETECT_RE = re.compile(r"(.*?)" + r"<loc(\d{4})>" * 4 + r"\s*([^;<>]+)? ?(?:; )?")


def from_pali_gemma(
    response: str,
    resolution_wh: Tuple[int, int],
    class_list: Optional[List[str]] = None,
) -> sv.Detections:
    width, height = resolution_wh
    xyxy_list, class_name_list = [], []

    while response:
        match = _DETECT_RE.match(response)
        if not match:
            break

        groups = list(match.groups())
        before = groups.pop(0)
        name = groups.pop()
        y1, x1, y2, x2 = [int(value) / 1024 for value in groups[:4]]
        y1, x1, y2, x2 = map(round, (y1 * height, x1 * width, y2 * height, x2 * width))

        content = match.group()
        if before:
            response = response[len(before):]
            content = content[len(before):]

        xyxy_list.append([x1, y1, x2, y2])
        class_name_list.append(name.strip())
        response = response[len(content):]

    class_name = np.array(class_name_list)
    class_id = (
        np.array([class_list.index(name) for name in class_name])
        if class_list is not None
        else None
    )
    return sv.Detections(
        xyxy=np.array(xyxy_list),
        class_id=class_id,
        data={"class_name": class_name},
    )


classes = ["person", "car", "backpack"]
response = model.predict(image, "detect person; car; backpack")[0]
detections = from_pali_gemma(response, resolution_wh=image.size, class_list=classes)

生成されたものを sv.Detections に supervision アノテーターへ渡してボックスを描画します。