Florence 2

Microsoft の Florence 2 マルチモーダルモデルを Serverless Cloud API で使用します

サポートしています Microsoft の Florence 2、マルチモーダルな視覚・言語モデルであるこれを、当社の Serverless Cloud APIで利用できます。Florence 2 は、タスクプロンプト（たとえば <CAPTION>, <OD>, <OCR>, <REFERRING_EXPRESSION_SEGMENTATION>).

デフォルトのエイリアス

エイリアスとして model_id をリクエスト内で指定すると、ランタイムがそれを対応する事前学習済み重みへ解決します。

エイリアス
florence-2-base
florence-2-large

精度

公式モデルカードに記載された主要なゼロショット指標（base, large):

ベンチマーク	florence-2-base	florence-2-large
COCO キャプション（CIDEr）	133.0	135.6
COCO 検出（mAP）	34.7	37.5
RefCOCO（精度）	53.9	56.3

推論速度

以下で測定したレイテンシ Roboflow Inference 1基の NVIDIA L4、バッチサイズ 1 で、以下からグリーディーデコーディングによりちょうど 128 トークンを生成した場合の <CAPTION> プロンプト。レイテンシは出力長に応じて変化するため、他の長さを見積もるには tokens/sec を使用してください。

エイリアス	レイテンシ、128トークン（ms）	トークン/秒
florence-2-base	652	198
florence-2-large	1120	115

コード例

Florence 2 は共通の /infer/lmm エンドポイント経由で実行されます。HTTP エンドポイントを直接呼び出すには、 curlまたは inference-sdk ラッパーを使用します。

HTTP（curl）

1

API キーを取得する

Roboflow アカウントを作成し、キーを次の場所で見つけてください。 Roboflow API 設定ページ そしてシェルから使えるようにします。

export ROBOFLOW_API_KEY="your-key-here"

2

モデルを実行する

次の /infer/lmm エンドポイントをタスクプロンプト付きで curl:

curl --location 'https://serverless.roboflow.com/infer/lmm' \
  --header 'Content-Type: application/json' \
  --data '{
    "api_key": "'"$ROBOFLOW_API_KEY"'",
    "image": {"type": "url", "value": "https://media.roboflow.com/quickstart/dog.jpeg"},
    "model_id": "florence-2-base",
    "prompt": "<CAPTION>"
  }'

SDK（Python）

1

API キーを取得する

Roboflow アカウントを作成し、キーを次の場所で見つけてください。 Roboflow API 設定ページ そしてシェルから使えるようにします。

export ROBOFLOW_API_KEY="your-key-here"

2

依存関係をインストールする

このパッケージはモデルを呼び出します：

pip install -U inference-sdk supervision

3

モデルを実行する

タスクプロンプトを使って LMM 推論エンドポイントを呼び出します：

import os
import supervision as sv
from inference_sdk import InferenceHTTPClient

image = sv.load_image_from_url("https://media.roboflow.com/quickstart/dog.jpeg")

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)

result = client.infer_lmm(
    inference_input=image,
    model_id="florence-2-base",
    prompt="<CAPTION>",
)

print(result["response"])  # {'<CAPTION>': '背中に犬を乗せた男性。'}

設定してください api_url をデプロイ先に合わせてください：

• https://serverless.roboflow.com Serverless Cloud API 用です。

• http://localhost:9001 ローカルの Inference サーバー。

• あなたの 専用デプロイメント プライベートエンドポイント用の URL。

置き換えて <CAPTION> サポートされている任意のタスクプロンプトに（たとえば <DETAILED_CAPTION>, <OD>, <OCR>, <OPEN_VOCABULARY_DETECTION>, <REFERRING_EXPRESSION_SEGMENTATION>）を使うと、キャプション、検出、OCR、セグメンテーションのタスクを切り替えられます。

セルフホスト型デプロイとタスクプロンプトの完全な一覧については、 推論ドキュメント.

タスクプロンプト

Florence 2 はプロンプトトークンでタスクを切り替えます。次のいずれかを プロンプト:

タスク	プロンプト
物体検出	<OD>
密な領域キャプション	<DENSE_REGION_CAPTION>
画像キャプション	<CAPTION>, <DETAILED_CAPTION>, <MORE_DETAILED_CAPTION>
領域提案	<REGION_PROPOSAL>
フレーズグラウンディング	<CAPTION_TO_PHRASE_GROUNDING>
参照表現セグメンテーション	<REFERRING_EXPRESSION_SEGMENTATION>
領域からセグメンテーションへ	<REGION_TO_SEGMENTATION>
オープンボキャブラリ検出	<OPEN_VOCABULARY_DETECTION>
領域から説明へ	<REGION_TO_DESCRIPTION>
OCR	<OCR>
領域付き OCR	<OCR_WITH_REGION>

Inference（セルフホスト）で使用

Florence 2 は次を使って直接読み込むこともできます。 inference パッケージを使って直接読み込むこともできます。

1

パッケージをインストールしてください

pip install "inference[transformers]"

使用 inference-gpu[transformers] を GPU マシン上で。

2

モデルを実行する

from inference import get_model

model = get_model("florence-2-base", api_key="YOUR_API_KEY")

result = model.infer(
    "https://media.roboflow.com/inference/seawithdock.jpeg",
    prompt="<CAPTION>",
)

print(result[0].response)

置き換えて <CAPTION> 上の表にある任意のタスクプロンプトで。

Workflows での実行モード

次のように使う場合、 Workflow、Florence 2 は次の 2 つのモードのいずれかで動作します：

• ローカル実行: モデルはあなたの Inference サーバー上で実行されます（GPU 推奨）。

• リモート実行：モデルはリモートの Inference サーバー上で HTTP 経由で呼び出されます。