RF-DETR

Roboflow의 RF-DETR 모델을 자체 호스팅 모델로 사용하거나 Serverless Cloud API를 통해 사용하세요.

RF-DETR 객체 탐지

RF-DETR은 Roboflow의 트랜스포머 기반 실시간 탐지 모델입니다. COCO로 사전 학습된 객체 탐지 체크포인트에 대해 다음을 통해 추론을 실행하세요 서버리스 클라우드 API또는 다음을 사용해 자체 호스팅하세요 Roboflow Inference.

코드 예제

아래 단계에서는 RF-DETR을 다음을 통해 실행합니다 서버리스 클라우드 API 그리고 결과를 다음으로 시각화합니다 supervision.

1

API 키 받기

Roboflow 계정을 만들고 다음에서 키를 찾으세요 Roboflow API 설정 페이지 그리고 이를 셸에서 사용할 수 있도록 설정하세요:

export ROBOFLOW_API_KEY="your-key-here"

2

의존성을 설치합니다

이 두 패키지는 모델을 호출하고 결과를 그립니다:

pip install -U inference-sdk supervision

3

모델 실행

실행 rfdetr-small 샘플 이미지에서 실행하고 박스와 레이블을 주석 처리합니다:

import os
import cv2
import supervision as sv
from inference_sdk import InferenceHTTPClient

image_url = "https://media.roboflow.com/quickstart/traffic.jpg"
image = sv.load_image_from_url(image_url)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer(image, model_id="rfdetr-small")

detections = sv.Detections.from_inference(result)

annotated = sv.BoxAnnotator().annotate(image.copy(), detections)
annotated = sv.LabelAnnotator().annotate(annotated, detections)

cv2.imwrite("traffic-annotated.png", annotated)

설정 api_url 을 배포 대상에 맞게:

• https://serverless.roboflow.com Serverless Cloud API용.

• http://localhost:9001 로컬 Inference 서버.

• 사용자의 전용 배포 비공개 엔드포인트의 URL.

사전 학습된 모델 및 벤치마크

다음 별칭 중 하나를 model_id 로 추론을 실행할 때 전달하세요. SDK는 각 별칭을 해당 Roboflow 프로젝트 버전으로 해석합니다.

별칭	입력 크기	mAP50-95	ONNX 지연 시간(ms)*	TensorRT FP16 지연 시간(ms)*
rfdetr-nano	384x384	48.4	9.7	6.2
rfdetr-small	512x512	53.0	12.9	8.3
rfdetr-medium	576x576	54.7	16.3	9.5
rfdetr-large	704x704	56.5	25.6	11.6
rfdetr-xlarge	700x700	58.6	41.6	14.9
rfdetr-2xlarge	880x880	60.1	53.4	21.7

RF-DETR 인스턴스 분할

RF-DETR은 박스와 함께 마스크를 예측하는 인스턴스 분할 체크포인트도 제공합니다. 다음을 통해 실행하세요 서버리스 클라우드 API또는 다음을 사용해 자체 호스팅하세요 Roboflow Inference.

코드 예제

위와 같이 API 키를 설정하고 의존성을 설치한 다음, 분할 체크포인트를 실행하고 마스크를 그리세요:

import os
import cv2
import supervision as sv
from inference_sdk import InferenceHTTPClient

image_url = "https://media.roboflow.com/quickstart/traffic.jpg"
image = sv.load_image_from_url(image_url)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer(image, model_id="rfdetr-seg-preview")

detections = sv.Detections.from_inference(result)

annotated = sv.MaskAnnotator().annotate(image.copy(), detections)
annotated = sv.LabelAnnotator().annotate(annotated, detections)

cv2.imwrite("traffic-annotated.png", annotated)

사전 학습된 모델 및 벤치마크

다음 별칭 중 하나를 model_id 추론을 실행할 때 model_id로 전달하세요. SDK는 각 별칭을 해당 Roboflow 프로젝트 버전으로 해석합니다. 수치는 COCO에서의 마스크 mAP입니다 검증.

별칭	입력 크기	마스크 mAP50-95	ONNX 지연 시간(ms)*	TensorRT FP16 지연 시간(ms)*
rfdetr-seg-nano	312x312	40.3	15.8	10.5
rfdetr-seg-small	384x384	43.1	19.3	11.9
rfdetr-seg-medium	432x432	45.3	23.9	14.1
rfdetr-seg-large	504x504	47.1	30.1	15.4
rfdetr-seg-xlarge	624x624	48.8	51.2	19.1
rfdetr-seg-2xlarge	768x768	49.9	89.6	25.6

RF-DETR 키포인트 탐지

RF-DETR 키포인트 탐지는 COCO 사람 키포인트로 사전 학습된 미리보기 체크포인트입니다. 다음을 통해 실행하세요 서버리스 클라우드 API또는 다음을 사용해 자체 호스팅하세요 Roboflow Inference.

이 체크포인트는 미리보기 버전입니다. 정확도와 출력 형식은 이후 릴리스에서 변경될 수 있습니다.

코드 예제

위와 같이 API 키를 설정하고 의존성을 설치한 다음, rfdetr-keypoint-preview 를 실행하고 키포인트에 주석을 추가하세요:

import os
import cv2
import numpy as np
import supervision as sv
from inference_sdk import InferenceHTTPClient

COCO_KEYPOINTS = [
    "nose", "left_eye", "right_eye", "left_ear", "right_ear",
    "left_shoulder", "right_shoulder", "left_elbow", "right_elbow",
    "left_wrist", "right_wrist", "left_hip", "right_hip",
    "left_knee", "right_knee", "left_ankle", "right_ankle",
]

image_url = "https://media.roboflow.com/notebooks/examples/person-walking.png"
image = sv.load_image_from_url(image_url)

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer(image, model_id="rfdetr-keypoint-preview")

# 각 예측은 모델이 볼 수 있는 키포인트만 나열하므로, 이를 다음에 배치하세요
# 스켈레톤이 기대하는 17개의 COCO 슬롯에 넣고, 보이지 않는 누락 항목은 표시하세요.
xy, visible = [], []
for prediction in result["predictions"]:
    found = {point["class"]: (point["x"], point["y"]) for point in prediction["keypoints"]}
    xy.append([found.get(name, (0, 0)) for name in COCO_KEYPOINTS])
    visible.append([name in found for name in COCO_KEYPOINTS])

key_points = sv.KeyPoints(xy=np.array(xy, dtype=np.float32), visible=np.array(visible))

annotated = sv.EdgeAnnotator(color=sv.Color.GREEN, thickness=3).annotate(image.copy(), key_points)
annotated = sv.VertexAnnotator(color=sv.Color.RED, radius=5).annotate(annotated, key_points)
cv2.imwrite("person-walking-annotated.png", annotated)

사전 학습된 모델 및 벤치마크

별칭을 다음으로 전달하세요 model_id 추론을 실행할 때. 정확도는 COCO 검증 객체 키포인트 유사도(OKS)로 계산한 AP50-95이며, 이는 COCO 표준 키포인트 지표이므로 위의 박스 및 마스크 mAP와 직접 비교할 수 없습니다.

별칭	입력 크기	키포인트 AP50-95	매개변수(M)	지연 시간(ms)†
rfdetr-keypoint-preview	576x576	71.8	126.4	9.7

Roboflow는 아직 이 체크포인트에 대한 사전 빌드된 TensorRT 엔진을 제공하지 않으므로, Inference는 다음을 설치해도 ONNX Runtime에서 실행합니다 inference-models[trt10] 추가 패키지. 표의 지연 시간에 도달하려면 다음을 사용해 직접 엔진을 빌드해야 합니다 rfdetr 패키지.

---

† 키포인트 정확도와 지연 시간은 다음에 공개된 수치입니다: RF-DETR 벤치마크: 지연 시간은 1x NVIDIA T4에서 배치 크기 1로 측정한 TensorRT FP16이며, 모델만 타이밍한 값입니다. 이는 위 표와 다른 GPU, 다른 파이프라인이므로 두 지연 시간 집합은 직접 비교할 수 없습니다.

* 지연 시간은 다음으로 측정했습니다: Roboflow Inference 1x NVIDIA L4에서, 배치 크기 1, 추론 1,000회의 평균(100회 워밍업)으로 측정했습니다. 기본 inference-gpu 설치는 CUDA 실행 프로바이더에서 ONNX를 실행합니다. 다음을 추가하면 inference-models[trt10] 추가 옵션이 사전 빌드된 TensorRT FP16 엔진을 자동으로 선택합니다. FP16은 COCO에서 FP32 정확도와 0.2 mAP 이내로 일치합니다 val2017. 정확도는 공개된 COCO 검증 사양입니다(다음을 참조하세요 RF-DETR 발표).