> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/models/ja/supported-models/rf-detr.md).

# RF-DETR

RF-DETRは、Roboflowのリアルタイム物体検出・インスタンスセグメンテーションモデルで、キーポイント検出とセマンティックセグメンテーションのバリアントもあります。Roboflowで学習し、Serverless Cで実行します

## RF-DETRによる物体検出

RF-DETRは、Roboflowのトランスフォーマーベースのリアルタイム検出モデルです。COCOで事前学習された物体検出チェックポイントを使用して、次のサービス経由で推論を実行するか、 [Serverless Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api)または [Roboflow Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted).

### RF-DETR物体検出API

以下の手順では、RF-DETRを [Serverless Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api) 経由で実行し、 [supervision](https://supervision.roboflow.com/).

{% stepper %}
{% step %}
**APIキーを取得する**

Roboflowアカウントを作成し、 [Roboflow API設定ページ](https://app.roboflow.com/settings/api) でキーを確認して、シェルから利用できるようにします。

```bash
export ROBOFLOW_API_KEY="your-key-here"
```

{% endstep %}

{% step %}
**依存関係をインストールする**

この2つのパッケージを使って、モデルを呼び出し、結果を描画します。

```bash
pip install -U inference-sdk supervision
```

{% endstep %}

{% step %}
**モデルを実行する**

サンプル画像に対して `rfdetr-small` を実行し、ボックスとラベルを描画します。

```python
import os
import cv2
import supervision as sv
from inference_sdk import InferenceHTTPClient, InferenceConfiguration

image_url = "https://media.roboflow.com/quickstart/traffic.jpg"
image = sv.load_image_from_url(image_url)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
).configure(InferenceConfiguration(api_key_transport="header"))
result = client.infer(image, model_id="rfdetr-small")

detections = sv.Detections.from_inference(result)

annotated = sv.BoxAnnotator().annotate(image.copy(), detections)
annotated = sv.LabelAnnotator().annotate(annotated, detections)

cv2.imwrite("traffic-annotated.png", annotated)
```

<figure><img src="https://1194881119-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-ccf613f155ad9e3e50d2520e5d45bbd68dff5bde%2Frf-detr-detection.webp?alt=media" alt=""><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

{% hint style="info" %}
設定します `api_url` を、デプロイ先に合わせます。

* `https://serverless.roboflow.com` Serverless Cloud APIの場合。
* `http://localhost:9001` ローカルの [Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted) サーバーの場合。
* プライベートエンドポイントの場合は、 [Dedicated Deployment](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments) のURLを使用します。
  {% endhint %}

### RF-DETR物体検出モデルとベンチマーク

推論の実行時に、次のいずれかのエイリアスを `model_id` として指定します。SDK が各エイリアスを対応する Roboflow プロジェクトのバージョンに解決します。

<table data-search="false"><thead><tr><th>エイリアス</th><th>入力サイズ</th><th>mAP50-95</th><th>ONNX のレイテンシ（ms）*</th><th>TensorRT FP16（ms）*</th></tr></thead><tbody><tr><td><code>rfdetr-nano</code></td><td>384x384</td><td>48.4</td><td>9.7</td><td>6.2</td></tr><tr><td><code>rfdetr-small</code></td><td>512x512</td><td>53.0</td><td>12.9</td><td>8.3</td></tr><tr><td><code>rfdetr-medium</code></td><td>576x576</td><td>54.7</td><td>16.3</td><td>9.5</td></tr><tr><td><code>rfdetr-large</code></td><td>704x704</td><td>56.5</td><td>25.6</td><td>11.6</td></tr><tr><td><code>rfdetr-xlarge</code></td><td>700x700</td><td>58.6</td><td>41.6</td><td>14.9</td></tr><tr><td><code>rfdetr-2xlarge</code></td><td>880x880</td><td>60.1</td><td>53.4</td><td>21.7</td></tr></tbody></table>

## RF-DETR インスタンスセグメンテーション

RF-DETR には、ボックスとともにマスクを予測するインスタンスセグメンテーション用チェックポイントもあります。これらは [サーバーレス Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api)で実行するか、 [Roboflow Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted).

### を使ってセルフホストできます。

上記の手順に沿って API キーを設定し、依存関係をインストールしたら、セグメンテーション用チェックポイントを実行してマスクを描画します。

```python
import os
import cv2
import supervision as sv
from inference_sdk import InferenceHTTPClient

image_url = "https://media.roboflow.com/quickstart/traffic.jpg"
image = sv.load_image_from_url(image_url)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer(image, model_id="rfdetr-seg-preview")

detections = sv.Detections.from_inference(result)

annotated = sv.MaskAnnotator().annotate(image.copy(), detections)
annotated = sv.LabelAnnotator().annotate(annotated, detections)

cv2.imwrite("traffic-annotated.png", annotated)
```

<figure><img src="https://1194881119-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-ef481717e6be56837c022e17751f42458d9f288d%2Frf-detr-segmentation.webp?alt=media" alt=""><figcaption></figcaption></figure>

### RF-DETR インスタンスセグメンテーションのモデルとベンチマーク

推論の実行時に、次のいずれかのエイリアスを `model_id` として指定します。SDK が各エイリアスを対応する Roboflow プロジェクトのバージョンに解決します。数値は COCO のマスク mAP を示します。 `val`.

<table data-search="false"><thead><tr><th>エイリアス</th><th>入力サイズ</th><th>マスク mAP50-95</th><th>ONNX のレイテンシ（ms）*</th><th>TensorRT FP16（ms）*</th></tr></thead><tbody><tr><td><code>rfdetr-seg-nano</code></td><td>312x312</td><td>40.3</td><td>15.8</td><td>10.5</td></tr><tr><td><code>rfdetr-seg-small</code></td><td>384x384</td><td>43.1</td><td>19.3</td><td>11.9</td></tr><tr><td><code>rfdetr-seg-medium</code></td><td>432x432</td><td>45.3</td><td>23.9</td><td>14.1</td></tr><tr><td><code>rfdetr-seg-large</code></td><td>504x504</td><td>47.1</td><td>30.1</td><td>15.4</td></tr><tr><td><code>rfdetr-seg-xlarge</code></td><td>624x624</td><td>48.8</td><td>51.2</td><td>19.1</td></tr><tr><td><code>rfdetr-seg-2xlarge</code></td><td>768x768</td><td>49.9</td><td>89.6</td><td>25.6</td></tr></tbody></table>

## RF-DETR セマンティックセグメンテーション

RF-DETR のセマンティックセグメンテーションは、各ピクセルにクラスを割り当てます。同じクラスの領域には同じラベルが付与され、個別のオブジェクトには分割されません。事前学習済みチェックポイントは、ADE20K のシーン内にある150種類のクラス（例：空、建物、道路、自動車、人）に対応しています。これらは [サーバーレス Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api)または、次を使用してセルフホストします： [Roboflow Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted).

### RF-DETR セマンティックセグメンテーション API

上記の手順に従って API キーを設定し、依存関係（supervision 0.32.0 以降）をインストールしたら、事前学習済みチェックポイントを実行してクラスを描画します。

```python
import os

import cv2
import supervision as sv
from inference_sdk import InferenceHTTPClient, InferenceConfiguration

image_url = "https://media.roboflow.com/docs/mountain-lake-boats.jpg"
image = sv.load_image_from_url(image_url)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
).configure(InferenceConfiguration(
    api_key_transport="header",
    client_downsizing_disabled=True,
))
result = client.infer(image, model_id="rfdetr-pretrains/rfdetr-sem-large-ade20k")

detections = sv.Detections.from_inference(result)

palette = sv.ColorPalette.from_hex([
    "#22C55E", "#38BDF8", "#8B5CF6", "#F59E0B", "#EC4899",
    "#EF4444", "#2563EB", "#14B8A6", "#A3E635", "#FDE047",
])
annotated = sv.MaskAnnotator(
    color=palette, opacity=0.35, color_lookup=sv.ColorLookup.INDEX
).annotate(image.copy(), detections)
annotated = sv.PolygonAnnotator(color=sv.Color.WHITE, thickness=2).annotate(
    annotated, detections
)
annotated = sv.LabelAnnotator(
    color=palette,
    color_lookup=sv.ColorLookup.INDEX,
    text_position=sv.Position.CENTER_OF_MASS,
    text_scale=0.8,
    smart_position=True,
).annotate(annotated, detections)

cv2.imwrite("lake-annotated.png", annotated)
print(detections.data["class_name"])
```

`sv.Detections.from_inference` は、結果内の各クラスを1つの検出結果に変換します。そのマスクは該当クラスのすべてのピクセルを覆うため、任意のマスクアノテーターで描画できます。クラス名は結果の `class_map`から取得され、クラス ID 0（背景）は除外されます。マスクが入力画像のサイズと一致するように、クライアント側での縮小は無効にしてください。

<figure><img src="https://1194881119-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-afa78b6bde2a63ba07fb99e000a029cf0fb7c00e%2Frf-detr-semantic-segmentation.webp?alt=media" alt="Wooden boats on a mountain lake with RF-DETR semantic segmentation predictions: water, boats, a pier, trees, and rocks each in their own color and labeled"><figcaption><p>上記の例による、事前学習済み RF-DETR Large ADE20K の出力。写真： <a href="https://www.pexels.com/photo/wooden-boat-and-a-scenic-view-of-a-lake-and-mountains-14211208/">Christian Thöni</a>, <a href="https://www.pexels.com/license/">Pexels ライセンス</a>。トリミング済み。</p></figcaption></figure>

### RF-DETR セマンティックセグメンテーションモデルとトレーニング

推論を実行する際に、次のいずれかのモデル ID を `model_id` として指定します。いずれも ADE20K で事前学習されています。

<table data-search="false"><thead><tr><th>モデル ID</th><th>入力サイズ</th></tr></thead><tbody><tr><td><code>rfdetr-pretrains/rfdetr-sem-nano-ade20k</code></td><td>312x312</td></tr><tr><td><code>rfdetr-pretrains/rfdetr-sem-small-ade20k</code></td><td>384x384</td></tr><tr><td><code>rfdetr-pretrains/rfdetr-sem-medium-ade20k</code></td><td>432x432</td></tr><tr><td><code>rfdetr-pretrains/rfdetr-sem-large-ade20k</code></td><td>500x500</td></tr><tr><td><code>rfdetr-pretrains/rfdetr-sem-xlarge-ade20k</code></td><td>560x560</td></tr><tr><td><code>rfdetr-pretrains/rfdetr-sem-2xlarge-ade20k</code></td><td>880x880</td></tr></tbody></table>

独自のクラスをセグメント化するには、 [セマンティックセグメンテーションプロジェクト](https://docs.roboflow.com/models/ja/supported-tasks/semantic-segmentation.md#fine-tuning-a-semantic-segmentation-model)を作成し、次に RF-DETR とサイズを選択します。 [カスタムトレーニング](https://docs.roboflow.com/models/ja/xue-xi/train-a-model.md#web-app)。また、 [ニューラルアーキテクチャ探索](https://docs.roboflow.com/models/ja/xue-xi/neural-architecture-search.md) を使用して、精度とレイテンシの要件に合ったモデルを比較することもできます。セマンティックセグメンテーションの精度は、上の表にあるボックスまたはマスクのmAPではなく、 [平均IoU（mIoU）](https://docs.roboflow.com/models/ja/ping-si/evaluate-trained-models.md)で評価してください。

## RF-DETRキーポイント検出

RF-DETRキーポイント検出は、COCOの人物キーポイントで事前学習されたプレビューチェックポイントです。 [サーバーレスクラウドAPI](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api)経由で実行するか、 [Roboflow Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted).

{% hint style="info" %}
このチェックポイントはプレビュー版です。今後のリリースで精度や出力形式が変更される可能性があります。
{% endhint %}

### RF-DETRキーポイント検出API

上記の手順に従ってAPIキーを設定し、依存関係をインストールしてから、 `rfdetr-keypoint-preview` を実行してキーポイントをアノテーションします。

```python
import os
import cv2
import numpy as np
import supervision as sv
from inference_sdk import InferenceHTTPClient

COCO_KEYPOINTS = [
    "nose", "left_eye", "right_eye", "left_ear", "right_ear",
    "left_shoulder", "right_shoulder", "left_elbow", "right_elbow",
    "left_wrist", "right_wrist", "left_hip", "right_hip",
    "left_knee", "right_knee", "left_ankle", "right_ankle",
]

image_url = "https://media.roboflow.com/notebooks/examples/person-walking.png"
image = sv.load_image_from_url(image_url)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer(image, model_id="rfdetr-keypoint-preview")

# 各予測には、モデルが検出できたキーポイントのみが含まれるため、
# スケルトンが想定する17個のCOCOスロットに配置し、欠落しているものは非表示としてマークします。
xy, visible = [], []
for prediction in result["predictions"]:
    found = {point["class"]: (point["x"], point["y"]) for point in prediction["keypoints"]}
    xy.append([found.get(name, (0, 0)) for name in COCO_KEYPOINTS])
    visible.append([name in found for name in COCO_KEYPOINTS])

key_points = sv.KeyPoints(xy=np.array(xy, dtype=np.float32), visible=np.array(visible))

annotated = sv.EdgeAnnotator(color=sv.Color.GREEN, thickness=3).annotate(image.copy(), key_points)
annotated = sv.VertexAnnotator(color=sv.Color.RED, radius=5).annotate(annotated, key_points)
cv2.imwrite("person-walking-annotated.png", annotated)
```

<figure><img src="https://1194881119-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-58cd1b0b1df35e71787197ce73cd5294b67a9a74%2Frf-detr-keypoint.webp?alt=media" alt=""><figcaption></figcaption></figure>

### RF-DETRキーポイント検出モデルとベンチマーク

推論を実行する際は、エイリアスを `model_id` として渡します。精度はCOCOの `val` で評価したAP50-95です。これは標準的なCOCOキーポイント指標であるオブジェクトキーポイント類似度（OKS）を用いて算出されるため、上記のボックスおよびマスクのmAPとは比較できません。

<table data-search="false"><thead><tr><th>エイリアス</th><th>入力サイズ</th><th>キーポイントAP50-95</th><th>パラメーター数（M）</th><th>レイテンシ（ms）†</th></tr></thead><tbody><tr><td><code>rfdetr-keypoint-preview</code></td><td>576x576</td><td>71.8</td><td>126.4</td><td>9.7</td></tr></tbody></table>

Roboflowは、このチェックポイント用のTensorRTエンジンをまだ事前構築して公開していないため、inference-models\[trt10]をインストールしていても、InferenceはONNX Runtime上で実行します。 `inference-models[trt10]` 表のレイテンシを実現するには、 [rfdetr](https://github.com/roboflow/rf-detr) パッケージを使ってエンジンを自分で構築してください。

***

† キーポイント精度とレイテンシの数値は、 [RF-DETR ベンチマーク](https://rfdetr.roboflow.com/latest/#keypoints)に掲載されているものです。レイテンシは、バッチサイズ1でNVIDIA T4を1基使用したTensorRT FP16の値で、モデルのみを計測しています。上記の表とはGPUもパイプラインも異なるため、2つのレイテンシ値を直接比較することはできません。

\* レイテンシは、 [Roboflow Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted) をNVIDIA L4 1基、バッチサイズ1で使用し、1,000回の推論（ウォームアップ100回）の平均として測定しています。デフォルトの `inference-gpu` インストールではCUDA実行プロバイダー上でONNXを実行します。 `inference-models[trt10]` を追加すると、事前ビルド済みのTensorRT FP16エンジンが自動的に選択されます。FP16の精度は、COCOの `val2017`でFP32と比べて0.2 mAP以内です。精度は公開されているCOCO `val` 仕様に基づいています（ [RF-DETRの発表](https://blog.roboflow.com/rf-detr/)).

## カスタムウェイトのアップロード

Roboflow以外でトレーニングしたRF-DETRモデルを実行するには、 [Roboflow CLI](https://docs.roboflow.com/reference/platform/cli/install-and-set-up-the-cli):

```bash
roboflow upload_model -p my-project -v 1 -t rfdetr-medium -m ./output -f checkpoint_best_total.pth
```

を使用して、そのウェイトをプロジェクトにアップロードします。 `-t` には、トレーニングしたバリアントを指定します（例： `rfdetr-small`, `rfdetr-seg-medium`）。Python SDKとトレーニングのバージョン要件については、 [カスタムウェイトのアップロード](https://docs.roboflow.com/models/ja/moderunomi/upload-custom-weights.md) をご覧ください。

## ライセンス

RF-DETRでは、モデルサイズに応じて2種類のライセンスが適用されます。

* **Apache 2.0** （検出モデルのNano、Small、Medium、Large、すべてのセグメンテーションサイズ、およびキーポイントモデル）：セルフホスト型やクローズドソース製品を含め、商用利用は無料です。ライセンス料は不要で、コードをオープンソースにする必要もありません。
* **PML 1.0** （検出モデルのXLと2XL、すべてのセマンティックセグメンテーションサイズ、およびRF-DETR Poseキーポイントモデル。Roboflow Platform Model License）：Roboflowにデプロイする場合は商用利用が含まれます。商用目的でセルフホストするには、Enterpriseアドオンが必要です。

詳細は、 [モデルライセンス](https://docs.roboflow.com/models/ja/model-licenses.md) をご覧ください。
