For the complete documentation index, see llms.txt. This page is also available as Markdown.

SmolVLM2

HuggingFace の SmolVLM2 画像言語モデルを、Dedicated Deployment またはセルフホスト Inference で使用します

SmolVLM2はHuggingFaceのコンパクトな視覚言語モデルです。画像とテキストプロンプトを受け取り、テキスト応答を返します。

SmolVLM2はServerless Cloud APIでは利用できません。aで実行してください 専用デプロイメント または セルフホストの Inference.

コード例

1

API キーを取得する

Roboflow アカウントを作成し、キーを次の場所で見つけてください。 Roboflow API 設定ページ そしてシェルから使えるようにします。

export ROBOFLOW_API_KEY="your-key-here"
2

依存関係をインストールする

次をインストールします。 Inference SDK:

pip install -U inference-sdk supervision
3

モデルを実行する

設定してください api_url 専用デプロイメントのURLまたはローカルの推論サーバーに。

import os
import supervision as sv
from inference_sdk import InferenceHTTPClient

image = sv.load_image_from_url("https://media.roboflow.com/quickstart/dog.jpeg")

client = InferenceHTTPClient(
    api_url="https://your-deployment.roboflow.cloud",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer_lmm(
    image,
    model_id="smolvlm2",
    prompt="この画像を簡潔に説明してください。",
    max_new_tokens=64,
)
print(result["response"])

上記のコードはモデルの応答をターミナルに出力します:

男性が犬を肩に担いでいます。

推論速度

以下で測定したレイテンシ Roboflow Inference 1x NVIDIA L4、バッチサイズ 1 で、固定プロンプトから貪欲デコードを用いてちょうど 128 トークンを生成した場合。レイテンシは出力長に比例するため、他の長さを見積もるには tokens/sec を使用してください。

エイリアス
レイテンシ、128トークン(ms)
トークン/秒

smolvlm2

3113

41

設定してください api_url をデプロイ先に合わせてください:

Inference(セルフホスト)で使用

SmolVLM2は、次のものを使って直接読み込むこともできます。 inference VQA、文書OCR、文書VQA、物体数カウント用のパッケージ。

1

パッケージをインストールしてください

使用 inference-gpu[transformers] を GPU マシン上で。

2

モデルを実行する

Workflows での実行モード

次のように使う場合、 Workflow、SmolVLM2は2つのモードのいずれかで動作します:

  • ローカル実行: モデルはあなたの Inference サーバー上で実行されます(GPU 推奨)。

  • リモート実行: モデルはリモートの Inference サーバー上で HTTP 経由で呼び出され、 infer_lmm() クライアントメソッド

最終更新

役に立ちましたか?