RF-DETR

Roboflow の RF-DETR モデルをセルフホストモデルとして、または Serverless Cloud API 経由で使用します

RF-DETR オブジェクト検出

RF-DETR は Roboflow のトランスフォーマーベースのリアルタイム検出モデルです。以下の Serverless Cloud API、または次を使ってセルフホストできます: Roboflow Inference.

コードサンプル

以下の手順では RF-DETR を Serverless Cloud API で実行し、結果を supervision.

1

API キーを取得する

Roboflow アカウントを作成し、キーは Roboflow API 設定ページ で見つけて、シェルで利用できるようにします:

export ROBOFLOW_API_KEY="your-key-here"

2

依存関係をインストールする

この 2 つのパッケージはモデルを呼び出し、その結果を描画します:

pip install -U inference-sdk supervision

3

モデルを実行する

実行 rfdetr-small をサンプル画像に適用し、ボックスとラベルを注釈付けします:

import os
import cv2
import supervision as sv
from inference_sdk import InferenceHTTPClient

image_url = "https://media.roboflow.com/quickstart/traffic.jpg"
image = sv.load_image_from_url(image_url)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer(image, model_id="rfdetr-small")

detections = sv.Detections.from_inference(result)

annotated = sv.BoxAnnotator().annotate(image.copy(), detections)
annotated = sv.LabelAnnotator().annotate(annotated, detections)

cv2.imwrite("traffic-annotated.png", annotated)

設定 api_url をデプロイ先に合わせて設定します:

• https://serverless.roboflow.com は Serverless Cloud API 用です。

• http://localhost:9001 ローカルの Inference サーバー用です。

• あなたの 専用デプロイ のプライベートエンドポイント用 URL。

事前学習済みモデルとベンチマーク

これらのエイリアスのいずれかを model_id として inference 時に渡してください。SDK は各エイリアスを対応する Roboflow プロジェクトのバージョンに解決します。

エイリアス	入力サイズ	mAP50-95	ONNX レイテンシ (ms)*	TensorRT FP16 (ms)*
rfdetr-nano	384x384	48.4	9.7	6.2
rfdetr-small	512x512	53.0	12.9	8.3
rfdetr-medium	576x576	54.7	16.3	9.5
rfdetr-large	704x704	56.5	25.6	11.6
rfdetr-xlarge	700x700	58.6	41.6	14.9
rfdetr-2xlarge	880x880	60.1	53.4	21.7

RF-DETR インスタンスセグメンテーション

RF-DETR には、ボックスに加えてマスクも予測するインスタンスセグメンテーション用のチェックポイントもあります。以下の Serverless Cloud API、または次を使ってセルフホストできます: Roboflow Inference.

コードサンプル

上のように API キーを設定して依存関係をインストールし、セグメンテーション用チェックポイントを実行してマスクを描画します:

import os
import cv2
import supervision as sv
from inference_sdk import InferenceHTTPClient

image_url = "https://media.roboflow.com/quickstart/traffic.jpg"
image = sv.load_image_from_url(image_url)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer(image, model_id="rfdetr-seg-preview")

detections = sv.Detections.from_inference(result)

annotated = sv.MaskAnnotator().annotate(image.copy(), detections)
annotated = sv.LabelAnnotator().annotate(annotated, detections)

cv2.imwrite("traffic-annotated.png", annotated)

事前学習済みモデルとベンチマーク

これらのエイリアスのいずれかを model_id として inference 時に渡してください。SDK は各エイリアスを対応する Roboflow プロジェクトのバージョンに解決します。数値は COCO の mask mAP です 検証.

エイリアス	入力サイズ	Mask mAP50-95	ONNX レイテンシ (ms)*	TensorRT FP16 (ms)*
rfdetr-seg-nano	312x312	40.3	15.8	10.5
rfdetr-seg-small	384x384	43.1	19.3	11.9
rfdetr-seg-medium	432x432	45.3	23.9	14.1
rfdetr-seg-large	504x504	47.1	30.1	15.4
rfdetr-seg-xlarge	624x624	48.8	51.2	19.1
rfdetr-seg-2xlarge	768x768	49.9	89.6	25.6

RF-DETR キーポイント検出

RF-DETR のキーポイント検出はプレビュー版のチェックポイントで、COCO の人物キーポイントで事前学習されています。以下の Serverless Cloud API、または次を使ってセルフホストできます: Roboflow Inference.

このチェックポイントはプレビュー版です。精度と出力形式は今後のリリースで変更される場合があります。

コードサンプル

上のように API キーを設定して依存関係をインストールし、 rfdetr-keypoint-preview を実行してキーポイントを注釈付けします:

import os
import cv2
import numpy as np
import supervision as sv
from inference_sdk import InferenceHTTPClient

COCO_KEYPOINTS = [
    "nose", "left_eye", "right_eye", "left_ear", "right_ear",
    "left_shoulder", "right_shoulder", "left_elbow", "right_elbow",
    "left_wrist", "right_wrist", "left_hip", "right_hip",
    "left_knee", "right_knee", "left_ankle", "right_ankle",
]

image_url = "https://media.roboflow.com/notebooks/examples/person-walking.png"
image = sv.load_image_from_url(image_url)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer(image, model_id="rfdetr-keypoint-preview")

# 各予測にはモデルが確認できるキーポイントのみが一覧表示されるため、それらを
# スケルトンが期待する 17 個の COCO スロットに配置し、見えない欠損部分をマークします。
xy, visible = [], []
for prediction in result["predictions"]:
    found = {point["class"]: (point["x"], point["y"]) for point in prediction["keypoints"]}
    xy.append([found.get(name, (0, 0)) for name in COCO_KEYPOINTS])
    visible.append([name in found for name in COCO_KEYPOINTS])

key_points = sv.KeyPoints(xy=np.array(xy, dtype=np.float32), visible=np.array(visible))

annotated = sv.EdgeAnnotator(color=sv.Color.GREEN, thickness=3).annotate(image.copy(), key_points)
annotated = sv.VertexAnnotator(color=sv.Color.RED, radius=5).annotate(annotated, key_points)
cv2.imwrite("person-walking-annotated.png", annotated)

事前学習済みモデルとベンチマーク

エイリアスを model_id として渡してください。推論時の精度は COCO 検証 AP50-95 を object keypoint similarity (OKS) で評価したもので、COCO キーポイントの標準指標です。そのため、上のボックスとマスクの mAP とは比較できません。

エイリアス	入力サイズ	キーポイント AP50-95	パラメータ数 (M)	レイテンシ (ms)†
rfdetr-keypoint-preview	576x576	71.8	126.4	9.7

Roboflow はまだこのチェックポイント用の事前構築済み TensorRT エンジンを公開していないため、Inference は inference-models[trt10] 追加パッケージを加えると、事前構築済みの TensorRT FP16 エンジンが自動的に選択されます。FP16 は COCO rfdetr パッケージを使って自分でエンジンをビルドする必要があります。

---

† キーポイントの精度とレイテンシは RF-DETR ベンチマークに掲載されている数値です。レイテンシ: TensorRT FP16 を 1x NVIDIA T4 上でバッチサイズ 1、モデルのみを計測して測定しています。これは上記の表とは異なる GPU と異なるパイプラインであるため、2 つのレイテンシセットは直接比較できません。

* レイテンシは次で測定しています: Roboflow Inference 1x NVIDIA L4 上、バッチサイズ 1、1,000 回の推論の平均値（100 回のウォームアップ）。デフォルトの inference-gpu インストールでは CUDA 実行プロバイダー上で ONNX が実行されます。 inference-models[trt10] 追加パッケージを加えると、事前構築済みの TensorRT FP16 エンジンが自動的に選択されます。FP16 は COCO val2017で FP32 と 0.2 mAP 以内の精度一致を示します。精度は公開されている COCO 検証 仕様（詳細は RF-DETR 発表).