> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/models/ja/supported-models/rf-detr.md).

# RF-DETR

## RF-DETR物体検出

RF-DETRはRoboflowのTransformerベースのリアルタイム検出モデルです。COCOで事前学習された物体検出チェックポイントに対して、以下を通じて推論を実行します。 [Serverless Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api)、または以下を使用してセルフホストします [Roboflow Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted).

### RF-DETR物体検出API

以下の手順では、RF-DETRを以下を通じて実行します [Serverless Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api) そして結果を以下で可視化します [supervision](https://supervision.roboflow.com/).

{% stepper %}
{% step %}
**APIキーを取得する**

Roboflow アカウントを作成し、 [Roboflow API 設定ページ](https://app.roboflow.com/settings/api) でキーを見つけ、シェルで利用できるようにします。

```bash
export ROBOFLOW_API_KEY="your-key-here"
```

{% endstep %}

{% step %}
**依存関係をインストールする**

これら2つのパッケージはモデルを呼び出し、結果を描画します:

```bash
pip install -U inference-sdk supervision
```

{% endstep %}

{% step %}
**モデルを実行する**

実行 `rfdetr-small` をサンプル画像に適用し、ボックスとラベルを注釈します:

```python
import os
import cv2
import supervision as sv
from inference_sdk import InferenceHTTPClient, InferenceConfiguration

image_url = "https://media.roboflow.com/quickstart/traffic.jpg"
image = sv.load_image_from_url(image_url)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
).configure(InferenceConfiguration(api_key_transport="header"))
result = client.infer(image, model_id="rfdetr-small")

detections = sv.Detections.from_inference(result)

annotated = sv.BoxAnnotator().annotate(image.copy(), detections)
annotated = sv.LabelAnnotator().annotate(annotated, detections)

cv2.imwrite("traffic-annotated.png", annotated)
```

<figure><img src="/files/0d3319da4fac80c771d4d46da43e852773640f7b" alt=""><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

{% hint style="info" %}
設定する `api_url` をデプロイ先に合わせます:

* `https://serverless.roboflow.com` サーバーレスクラウドAPI用。
* `http://localhost:9001` ローカルの [Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted) サーバー用。
* あなたの [Dedicated Deployment](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments) プライベートエンドポイント用のURL。
  {% endhint %}

### RF-DETR物体検出モデルとベンチマーク

これらのいずれかのエイリアスを以下として渡します `model_id` 推論を実行するときに。SDKは各エイリアスを対応するRoboflowプロジェクトのバージョンに解決します。

<table data-search="false"><thead><tr><th>別名</th><th>入力サイズ</th><th>mAP50-95</th><th>ONNXレイテンシ（ms）*</th><th>TensorRT FP16（ms）*</th></tr></thead><tbody><tr><td><code>rfdetr-nano</code></td><td>384x384</td><td>48.4</td><td>9.7</td><td>6.2</td></tr><tr><td><code>rfdetr-small</code></td><td>512x512</td><td>53.0</td><td>12.9</td><td>8.3</td></tr><tr><td><code>rfdetr-medium</code></td><td>576x576</td><td>54.7</td><td>16.3</td><td>9.5</td></tr><tr><td><code>rfdetr-large</code></td><td>704x704</td><td>56.5</td><td>25.6</td><td>11.6</td></tr><tr><td><code>rfdetr-xlarge</code></td><td>700x700</td><td>58.6</td><td>41.6</td><td>14.9</td></tr><tr><td><code>rfdetr-2xlarge</code></td><td>880x880</td><td>60.1</td><td>53.4</td><td>21.7</td></tr></tbody></table>

## RF-DETRインスタンスセグメンテーション

RF-DETRは、ボックスとともにマスクを予測するインスタンスセグメンテーションのチェックポイントも提供しています。以下を通じて実行します [Serverless Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api)、または以下を使用してセルフホストします [Roboflow Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted).

### RF-DETRインスタンスセグメンテーションAPI

APIキーを設定し、上記のように依存関係をインストールしたら、セグメンテーションのチェックポイントを実行して、そのマスクを描画します:

```python
import os
import cv2
import supervision as sv
from inference_sdk import InferenceHTTPClient

image_url = "https://media.roboflow.com/quickstart/traffic.jpg"
image = sv.load_image_from_url(image_url)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer(image, model_id="rfdetr-seg-preview")

detections = sv.Detections.from_inference(result)

annotated = sv.MaskAnnotator().annotate(image.copy(), detections)
annotated = sv.LabelAnnotator().annotate(annotated, detections)

cv2.imwrite("traffic-annotated.png", annotated)
```

<figure><img src="/files/0117d8b9131a5b3a3d9b444c73edaa32c82e78cd" alt=""><figcaption></figcaption></figure>

### RF-DETRインスタンスセグメンテーションモデルとベンチマーク

これらのいずれかのエイリアスを以下として渡します `model_id` 推論を実行するときに。SDKは各エイリアスを対応するRoboflowプロジェクトのバージョンに解決します。数値はCOCO上のマスクmAPです `val`.

<table data-search="false"><thead><tr><th>別名</th><th>入力サイズ</th><th>マスクmAP50-95</th><th>ONNXレイテンシ（ms）*</th><th>TensorRT FP16（ms）*</th></tr></thead><tbody><tr><td><code>rfdetr-seg-nano</code></td><td>312x312</td><td>40.3</td><td>15.8</td><td>10.5</td></tr><tr><td><code>rfdetr-seg-small</code></td><td>384x384</td><td>43.1</td><td>19.3</td><td>11.9</td></tr><tr><td><code>rfdetr-seg-medium</code></td><td>432x432</td><td>45.3</td><td>23.9</td><td>14.1</td></tr><tr><td><code>rfdetr-seg-large</code></td><td>504x504</td><td>47.1</td><td>30.1</td><td>15.4</td></tr><tr><td><code>rfdetr-seg-xlarge</code></td><td>624x624</td><td>48.8</td><td>51.2</td><td>19.1</td></tr><tr><td><code>rfdetr-seg-2xlarge</code></td><td>768x768</td><td>49.9</td><td>89.6</td><td>25.6</td></tr></tbody></table>

## RF-DETRキーポイント検出

RF-DETRのキーポイント検出はプレビュー版のチェックポイントで、COCOの人物キーポイントで事前学習されています。以下を通じて実行します [Serverless Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api)、または以下を使用してセルフホストします [Roboflow Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted).

{% hint style="info" %}
このチェックポイントはプレビュー版です。精度と出力形式は今後のリリースで変更される場合があります。
{% endhint %}

### RF-DETRキーポイント検出API

APIキーを設定し、上記のように依存関係をインストールしたら、次を実行します `rfdetr-keypoint-preview` そしてキーポイントに注釈を付けます:

```python
import os
import cv2
import numpy as np
import supervision as sv
from inference_sdk import InferenceHTTPClient

COCO_KEYPOINTS = [
    "鼻", "左目", "右目", "左耳", "右耳",
    "左肩", "右肩", "左ひじ", "右ひじ",
    "左手首", "右手首", "左股関節", "右股関節",
    "左膝", "右膝", "左足首", "右足首",
]

image_url = "https://media.roboflow.com/notebooks/examples/person-walking.png"
image = sv.load_image_from_url(image_url)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer(image, model_id="rfdetr-keypoint-preview")

# 各予測はモデルが見えるキーポイントのみを一覧するので、それらを
# スケルトンが想定する17個のCOCOスロットに配置し、欠けているものには非表示とマークします。
xy, visible = [], []
for prediction in result["predictions"]:
    found = {point["class"]: (point["x"], point["y"]) for point in prediction["keypoints"]}
    xy.append([found.get(name, (0, 0)) for name in COCO_KEYPOINTS])
    visible.append([name in found for name in COCO_KEYPOINTS])

key_points = sv.KeyPoints(xy=np.array(xy, dtype=np.float32), visible=np.array(visible))

annotated = sv.EdgeAnnotator(color=sv.Color.GREEN, thickness=3).annotate(image.copy(), key_points)
annotated = sv.VertexAnnotator(color=sv.Color.RED, radius=5).annotate(annotated, key_points)
cv2.imwrite("person-walking-annotated.png", annotated)
```

<figure><img src="/files/926fc08b80476cc2b7b1c12b09c948b46e5178d4" alt=""><figcaption></figcaption></figure>

### RF-DETRキーポイント検出モデルとベンチマーク

エイリアスを以下として渡します `model_id` 推論を実行するときに。精度はCOCO `val` AP50-95で、object keypoint similarity（OKS）を用いて評価されます。これは標準的なCOCOキーポイント指標であるため、上記のボックスおよびマスクmAPとは比較できません。

<table data-search="false"><thead><tr><th>別名</th><th>入力サイズ</th><th>キーポイントAP50-95</th><th>パラメータ数（M）</th><th>レイテンシ（ms）†</th></tr></thead><tbody><tr><td><code>rfdetr-keypoint-preview</code></td><td>576x576</td><td>71.8</td><td>126.4</td><td>9.7</td></tr></tbody></table>

Roboflowはこのチェックポイント用の事前構築済みTensorRTエンジンをまだ公開していないため、Inferenceは、以下をインストールしてもONNX Runtime上で実行します `inference-models[trt10]` 追加オプション。表のレイテンシに達するには、以下を使って自分でエンジンを構築する必要があります [rfdetr](https://github.com/roboflow/rf-detr) パッケージ。

***

† キーポイントの精度とレイテンシは、以下で公開されている数値です [RF-DETRベンチマーク](https://rfdetr.roboflow.com/latest/#keypoints)：レイテンシは、1x NVIDIA T4でバッチサイズ1のTensorRT FP16によるもので、モデルのみの計測です。これは上の表とは異なるGPUと異なるパイプラインなので、2つのレイテンシを直接比較することはできません。

\* レイテンシは以下で測定されています [Roboflow Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted) 1x NVIDIA L4上で、バッチサイズ1、1,000回の推論の平均（100回のウォームアップ）です。デフォルトの `inference-gpu` インストールではONNXをCUDA実行プロバイダ上で実行します。以下を追加すると `inference-models[trt10]` 追加オプションにより、事前構築済みのTensorRT FP16エンジンが自動的に選択されます。FP16はCOCO上でFP32の精度と0.2 mAP以内で一致します `val2017`。精度は公開されているCOCO `val` 仕様です（以下を参照） [RF-DETRの発表](https://blog.roboflow.com/rf-detr/)).