SmolVLM2

HuggingFace の SmolVLM2 画像言語モデルを、Dedicated Deployment またはセルフホスト Inference で使用します

SmolVLM2はHuggingFaceのコンパクトな視覚言語モデルです。画像とテキストプロンプトを受け取り、テキスト応答を返します。

SmolVLM2はServerless Cloud APIでは利用できません。aで実行してください 専用デプロイメント または セルフホストの Inference.

コード例

1

API キーを取得する

Roboflow アカウントを作成し、キーを次の場所で見つけてください。 Roboflow API 設定ページ そしてシェルから使えるようにします。

export ROBOFLOW_API_KEY="your-key-here"

2

依存関係をインストールする

次をインストールします。 Inference SDK:

pip install -U inference-sdk supervision

3

モデルを実行する

設定してください api_url 専用デプロイメントのURLまたはローカルの推論サーバーに。

import os
import supervision as sv
from inference_sdk import InferenceHTTPClient

image = sv.load_image_from_url("https://media.roboflow.com/quickstart/dog.jpeg")

client = InferenceHTTPClient(
    api_url="https://your-deployment.roboflow.cloud",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer_lmm(
    image,
    model_id="smolvlm2",
    prompt="この画像を簡潔に説明してください。",
    max_new_tokens=64,
)
print(result["response"])

上記のコードはモデルの応答をターミナルに出力します:

男性が犬を肩に担いでいます。

推論速度

以下で測定したレイテンシ Roboflow Inference 1x NVIDIA L4、バッチサイズ 1 で、固定プロンプトから貪欲デコードを用いてちょうど 128 トークンを生成した場合。レイテンシは出力長に比例するため、他の長さを見積もるには tokens/sec を使用してください。

エイリアス	レイテンシ、128トークン（ms）	トークン/秒
smolvlm2	3113	41

設定してください api_url をデプロイ先に合わせてください：

• http://localhost:9001 ローカルの Inference サーバー。

• あなたの 専用デプロイメント プライベートエンドポイント用の URL。

Inference（セルフホスト）で使用

SmolVLM2は、次のものを使って直接読み込むこともできます。 inference VQA、文書OCR、文書VQA、物体数カウント用のパッケージ。

1

パッケージをインストールしてください

pip install "inference[transformers]"

使用 inference-gpu[transformers] を GPU マシン上で。

2

モデルを実行する

from PIL import Image

from inference.models.smolvlm.smolvlm import SmolVLM

model = SmolVLM(api_key="YOUR_API_KEY")

image = Image.open("dog.jpeg")
result = model.predict(image, "この画像には何匹の犬がいますか?")

print(result)

Workflows での実行モード

次のように使う場合、 Workflow、SmolVLM2は2つのモードのいずれかで動作します：

• ローカル実行: モデルはあなたの Inference サーバー上で実行されます（GPU 推奨）。

• リモート実行: モデルはリモートの Inference サーバー上で HTTP 経由で呼び出され、 infer_lmm() クライアントメソッド