자가 호스팅 배포

오픈 소스 컴퓨터 비전 배포 프레임워크인 Inference로 자체 하드웨어에서 Roboflow 모델과 Workflows를 실행하세요.

추론 이는 오픈 소스 컴퓨터 비전 배포 허브입니다. 모델과 워크플로를 제공하고, 비디오 스트림을 관리하며, CPU와 GPU를 위한 추론을 최적화합니다. 로컬 처리, 지연 시간 및 리소스 제어, 또는 오프라인 배포가 필요할 때 자체 호스팅하세요. Apache 2.0 라이선스의 코어는 Roboflow의 호스팅 API도 구동합니다.

자체 호스팅은 인프라를 직접 관리한다는 뜻입니다. 대신 Roboflow가 서버를 운영하게 하려면 다음을 참조하세요: 전용 배포 또는 서버리스 클라우드 API, 그리고 전체 옵션 비교.

경로 선택

자체 하드웨어에서 모델을 실행하는 방법은 세 가지가 있습니다. 대부분의 프로젝트는 Inference Server를 사용합니다.

Inference Server

HTTP를 통해 모델과 워크플로를 제공하는 Docker 컨테이너입니다.

Inference Library

이 inference 프로세스 내에서 모델을 실행하기 위한 Python 패키지입니다.

기타 SDK

웹 브라우저, iOS 또는 임베디드 장치에서 모델을 실행합니다.

여러 클라이언트나 언어가 예측을 필요로 하거나, 모델을 애플리케이션 종속성과 분리하고 싶거나, 엣지 장치에 배포할 때 서버를 사용하세요.

모델을 로컬에서 실행

대부분의 프로젝트에서는 Docker에서 Inference Server를 실행하고 다음으로 요청을 보냅니다: inference-sdk. 이 SDK는 애플리케이션을 Inference Server에 연결하는 Python HTTP 클라이언트입니다. Python 프로세스 내부에서 직접 모델을 로드하고 실행해야 할 때는 Inference Library를 사용하세요. 두 방식 모두 동일한 model_id 값을 사용하므로 나중에 서로 전환할 수 있습니다.

모델 ID

이 model_id 매개변수는 다음이 될 수 있습니다:

하나의 사전 학습된 모델 별칭, 예를 들어 rfdetr-small 또는 rfdetr-large
자체 Roboflow에서 미세 조정한 모델, 예를 들어 my-project/1
하나의 Universe 모델, 예를 들어 soccer-players-xy9vk/2

미세 조정 모델과 Universe 모델에는 다음이 필요합니다: API 키.

설치

다음으로 서버를 시작하세요: Inference CLI. 하드웨어를 감지하고 보안 기본값으로 올바른 Docker 이미지를 가져옵니다:

pip install inference-cli && inference server start

그런 다음 HTTP 클라이언트를 설치하세요:

pip install inference-sdk

하드웨어 요구 사항, 기기별 가이드, 그리고 수동 docker run 명령은 다음을 참조하세요: Inference Server 설치. 동일한 클라이언트는 다음에도 사용할 수 있습니다: 서버리스 클라우드 API 와 전용 배포: 오직 api_url 변경됩니다.

추론 실행

from inference_sdk import InferenceHTTPClient

image = "https://media.roboflow.com/inference/people-walking.jpg"
client = InferenceHTTPClient(
    api_url="http://localhost:9001",  # 자체 호스팅 서버
    api_key="YOUR_API_KEY",
)
results = client.infer(image, model_id="rfdetr-small")

교체 api_url 대신 https://serverless.roboflow.com 다음을 사용하려면 서버리스 클라우드 API 대신 사용하세요. 다른 코드 변경은 필요 없습니다. 다음을 참조하세요: Inference SDK 참조 자세한 내용은.

결과 시각화

설치 Supervision:

pip install -U supervision

import supervision as sv
from inference_sdk import InferenceHTTPClient

image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg")

client = InferenceHTTPClient(
    api_url="http://localhost:9001",
    api_key="YOUR_API_KEY",
)
results = client.infer(image, model_id="rfdetr-medium")

detections = sv.Detections.from_inference(results)

annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections)
annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections)

sv.plot_image(annotated_image)

설치

다음을 inference 자신의 Python 환경에 패키지를

pip install inference

NVIDIA GPU가 있다면 다음을 설치하세요: inference-gpu 대신 운영체제에 설치된 CUDA 버전에 맞게 인덱스 URL을 지정하세요:

pip install --extra-index-url https://download.pytorch.org/whl/cu124 inference-gpu

다음을 참조하세요: Inference Library 백엔드 추가 기능 및 GPU 설정 세부 정보는.

추론 실행

from inference import get_model

image = "https://media.roboflow.com/inference/people-walking.jpg"
model = get_model(model_id="rfdetr-small")
results = model.infer(image)

get_model() 처음 사용할 때 모델 가중치를 다운로드하고 캐시한 다음, 로컬에서 추론을 실행합니다. 다음을 참조하세요: Inference Python Package 참조 자세한 내용은.

결과 시각화

설치 Supervision:

pip install -U supervision

import supervision as sv
from inference import get_model

image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg")

model = get_model(model_id="rfdetr-medium")
results = model.infer(image)[0]

detections = sv.Detections.from_inference(results)

annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections)
annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections)

sv.plot_image(annotated_image)

API 키를 외부 사용자에게 노출하지 않도록 주의하세요. 공개 프론트엔드 앱에 직접 포함하지 말고, 대신 자체 백엔드를 통해 요청을 프록시하세요.

다음을 실행할 수 있습니다: 워크플로 같은 방식으로 서버 또는 자체 프로세스에서: 다음을 참조하세요: 워크플로 배포.

비공개 모델용 TensorRT 최적화 모델 패키지는 다음에서만 사용할 수 있습니다: 엔터프라이즈 요금제 Roboflow 플랫폼 외부에서 Inference를 실행할 때 제공됩니다. 공개 모델에는 모든 요금제에서 TensorRT 패키지가 포함됩니다.

이전전용 배포 일시 중지 및 재개 다음Inference 서버

마지막 업데이트 7일 전

도움이 되었나요?