Windows에 설치

기본 설치 프로그램 또는 Docker Desktop을 사용하여 CPU, GPU 또는 TensorRT 환경의 Windows에 Roboflow Inference Server를 설치합니다.

Windows 설치 프로그램(x86)

네이티브 데스크톱 앱을 사용하여 Windows 컴퓨터에서 Roboflow Inference Server를 실행할 수 있습니다. 최신 GitHub 릴리스에서 최신 Windows 설치 프로그램을 다운로드하세요: GitHub에서 최신 릴리스를 확인하고 설치 프로그램을 다운로드하세요.

1. 최신 설치 프로그램 다운로드 을 다운로드하고 실행하여 Roboflow Inference를 설치하세요.

2. 설치가 완료되면 Inference Server를 시작할 수 있는 옵션이 제공됩니다.

3. 서버를 중지하려면 열려 있는 터미널 창을 닫으세요.

4. 나중에 다시 시작하려면 Roboflow Inference 을(를) 시작 메뉴에서 찾으세요.

inference-models 백엔드. 다음과 함께 사용할 경우 inference-models 백엔드에서는 심볼릭 링크를 이용한 캐시 관리 때문에 Inference Server를 관리자 권한으로 실행해야 합니다. 대안으로 다음을 활성화할 수 있습니다. 개발자 모드.

다음 inference-models 백엔드는 환경 플래그를 통해 옵트인할 수 있습니다: $env:USE_INFERENCE_MODELS = "True".

Docker 사용

먼저, Docker Desktop을 설치하세요. 그런 다음 CLI를 사용하여 컨테이너를 시작하세요.

CPU

pip install inference-cli
inference server start

GPU

GPU에 액세스하려면 최신 NVIDIA 드라이버와 최신 버전의 WSL 2를 설치하고, Docker에서 WSL 2 백엔드가 구성되어 있는지 확인하세요. Docker의 설정 지침을 따르세요.

그런 다음 CLI를 사용하여 컨테이너를 시작하세요:

pip install inference-cli
inference server start

만약 pip install 명령이 실패하면 먼저 Python 설치 가 필요할 수 있습니다. 컴퓨터에 Python 3.12, 3.11 또는 3.10이 설치되면 명령을 다시 시도하세요.

컨테이너를 수동으로 시작하기

컨테이너 설정을 더 세부적으로 제어하려면 직접 시작하세요.

CPU

핵심 CPU Docker 이미지는 onnxruntime를 통해 x64 CPU에서 OpenVINO 가속을 지원합니다. SAM2와 같은 무거운 모델은 실용적이지 않을 정도로 느리게 실행될 수 있습니다(이미지당 수십 초). 이러한 모델이 필요하면 CUDA를 지원하는 GPU를 사용하세요.

CPU 추론의 주요 사용 사례는 정지 이미지 처리(예: 업로드의 NSFW 분류 또는 문서 검증) 또는 비디오 프레임의 비정기적 샘플링(예: 주차장의 점유 현황 추적)입니다.

CPU 추론을 시작하려면 다음을 사용하세요 roboflow/roboflow-inference-server-cpu:latest 컨테이너.

docker run -d ^
    --name inference-server ^
    --read-only ^
    -p 9001:9001 ^
    --volume "%USERPROFILE%\.inference\cache:/tmp:rw" ^
    --security-opt="no-new-privileges" ^
    --cap-drop="ALL" ^
    --cap-add="NET_BIND_SERVICE" ^
    roboflow/roboflow-inference-server-cpu:latest

GPU

GPU 컨테이너는 NVIDIA-Docker를 통해 CUDA를 지원하는 카드에서 하드웨어 가속을 추가합니다. 다음을 수행했는지 확인하세요 GPU에 액세스하도록 Docker 설정한 다음, 다음을 추가하세요 --gpus all 를 docker run 명령:

docker run -d ^
    --name inference-server ^
    --gpus all ^
    --read-only ^
    -p 9001:9001 ^
    --volume "%USERPROFILE%\.inference\cache:/tmp:rw" ^
    --security-opt="no-new-privileges" ^
    --cap-drop="ALL" ^
    --cap-add="NET_BIND_SERVICE" ^
    roboflow/roboflow-inference-server-gpu:latest

TensorRT

GPU 컨테이너에서는 선택적으로 다음을 활성화할 수 있습니다 TensorRT를 활성화할 수 있습니다. 이는 NVIDIA의 모델 최적화 런타임입니다. 각 모델을 처음 로드할 때 무거운 컴파일 및 최적화 단계(때로는 15분 이상)가 필요하므로, 모델 속도를 크게 향상시키는 대신 비용이 발생합니다.

다음을 추가하여 TensorRT를 활성화하세요 TensorrtExecutionProvider 를 ONNXRUNTIME_EXECUTION_PROVIDERS 환경 변수.

docker run -d ^
    --name inference-server ^
    --gpus all ^
    --read-only ^
    -p 9001:9001 ^
    --volume "%USERPROFILE%\.inference\cache:/tmp:rw" ^
    --security-opt="no-new-privileges" ^
    --cap-drop="ALL" ^
    --cap-add="NET_BIND_SERVICE" ^
    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,OpenVINOExecutionProvider,CPUExecutionProvider]" ^
    roboflow/roboflow-inference-server-gpu:latest

Docker Compose

애플리케이션에 Docker Compose를 사용하는 경우, 이에 해당하는 YAML은 다음과 같습니다:

CPU

version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-cpu:latest

    read_only: true
    ports:
      - "9001:9001"

    volumes:
      - "${USERPROFILE}/.inference/cache:/tmp:rw"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE

GPU

version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-gpu:latest

    read_only: true
    ports:
      - "9001:9001"

    volumes:
      - "${USERPROFILE}/.inference/cache:/tmp:rw"

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE

TensorRT

version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-gpu:latest

    read_only: true
    ports:
      - "9001:9001"

    volumes:
      - "${USERPROFILE}/.inference/cache:/tmp:rw"

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

    environment:
      ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,OpenVINOExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE

Roboflow Enterprise 요금제에는 Kubernetes 배포용 Helm 차트 Kubernetes 배포, OT 네트워크용 네트워킹 솔루션, 그리고 맞춤형 지원 및 설치 패키지를 위한 영업팀에 문의하세요 자세한 내용을 알아보세요.

다음 단계

• 모델 실행 를 새 서버에 대해.

• 설치 inference-gpu Windows의 베어 메탈 Docker를 사용할 수 없는 경우.

• 자가 호스팅 서버 보안 설정 로컬호스트를 넘어 공개하기 전에.