추론 서버 설치

Docker 또는 Linux, Windows, macOS, NVIDIA Jetson, Raspberry Pi, 또는 자체 클라우드의 네이티브 데스크톱 앱으로 Roboflow Inference Server를 설치합니다.

플랫폼에 맞는 설치 방법을 선택하세요. 모든 경로는 서버를 포트에서 시작합니다 9001.

Docker는 Inference를 실행하는 데 가장 권장되는 방법입니다(참고 왜 Docker인가). Linux, macOS, Windows, Jetson 및 기타 Docker 지원 기기에서 작동합니다.

Docker를 설치한 다음 먼저(그리고 NVIDIA Container Toolkit CUDA 지원 GPU가 있는 경우), 그다음 Inference CLI:

pip install inference-cli && inference server start

이렇게 하면 자동으로 내 컴퓨터에 가장 적합한 컨테이너를 선택하고 구성합니다.

Docker 없이 기본 데스크톱 앱으로 Windows에서 Inference Server를 실행합니다.

최신 설치 프로그램 다운로드 를 설치하고 실행하세요.
설치가 완료되면 Inference Server를 시작할 수 있는 옵션이 제공됩니다.
서버를 중지하려면 열려 있는 터미널 창을 닫으세요.
나중에 다시 시작하려면 Roboflow Inference 을(를) 시작 메뉴에서 찾으세요.

다음을 참조하세요 Windows에 설치 에서 자세한 내용과 Docker 대안을 확인하세요.

Docker 없이 기본 데스크톱 앱으로 Apple Silicon Mac에서 Inference Server를 실행합니다.

DMG를 다운로드한 다음 을 열어보세요.
Roboflow Inference 앱을 응용 프로그램 폴더로 드래그하세요.
서버를 시작하려면 응용 프로그램에서 앱을 더블 클릭하세요.

다음을 참조하세요 Mac에 설치 에서 자세한 내용, Docker 대안, 그리고 MPS 가속을 확인하세요.

요구 사항

Inference는 사용자의 컴퓨터에 맞게 조정되며 더 강력한 하드웨어에서 더 빠르게 실행됩니다. 최소 사양은 64비트 프로세서, 4GB RAM, 20GB의 여유 디스크 공간입니다. Docker 는 위의 컨테이너 경로에 필요합니다.

대상

하드웨어

Docker 이미지

CPU

64비트 CPU, 4GB RAM, 20GB의 여유 디스크 공간. 무거운 모델(예: SAM2)은 실용적으로 사용하기에 너무 느릴 수 있습니다.

Linux, macOS 또는 WSL 2가 있는 Windows 10/11

roboflow/roboflow-inference-server-cpu

GPU

이 설치된 CUDA 지원 NVIDIA GPU NVIDIA Container Toolkit . 더 큰 모델과 라이브 비디오에 권장됩니다.

Linux(또는 WSL 2가 있는 Windows 10/11)

roboflow/roboflow-inference-server-gpu

NVIDIA Jetson

Jetson Orin 기기(Orin NX 16GB 이상 권장)로, JetPack 4.5, 4.6, 5.x 또는 6.x를 실행 중이어야 합니다. 이미지용으로 약 10GB의 여유 디스크 공간을 확보하세요.

JetPack / L4T

roboflow/roboflow-inference-server-jetson-* (JetPack 전용, 자동 선택됨)

다음을 참조하세요 최소 요구 사항 지원되는 및 권장되는 기기의 전체 목록은

기기별 가이드

기기별 특수 설치 참고 사항 및 성능 팁:

Docker를 전혀 실행할 수 없다면 Inference Library 는 서버 대신 자체 Python 프로세스에서 모델을 실행합니다.

컨테이너를 직접 실행하기

보통 이미지를 직접 선택할 필요는 없습니다: inference server start 는 하드웨어를 감지하고 docker run 을 권장 보안 설정, 캐싱, 플랫폼별 옵션과 함께 자동으로 실행합니다. 컨테이너를 직접 관리하고 싶다면 CPU 전용 호스트에서는 CPU 이미지를 사용하고, CUDA 호스트에서는 --gpus all 가 포함된 GPU 이미지를 사용하세요.

sudo docker run -d \\
    --name inference-server \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-cpu:latest

다음을 설치하세요 NVIDIA Container Toolkit 먼저 설치한 다음 --gpus all:

sudo docker run -d \\
    --name inference-server \\
    --gpus all \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-gpu:latest

플랫폼의 가이드에는 해당 기기에 맞는 정확한 플래그와 함께 "컨테이너를 수동으로 시작하기" 섹션이 있습니다.

업데이트

Docker 이미지는 기본적으로 :latest 태그를 사용합니다. 최신 서버로 이동하려면 최신 이미지를 가져오거나 inference server start를 다시 실행하세요. 그러면 자동으로 가져옵니다:

docker pull roboflow/roboflow-inference-server-gpu:latest

재현 가능한 배포를 위해서는 특정 버전 태그를 고정해 대신 게시합니다 :latest 업데이트로 인해 동작이 예기치 않게 바뀌지 않도록 하세요. 예: roboflow/roboflow-inference-server-gpu:<version>. 사용 가능한 태그는 Docker Hub에서 확인하고, 고정한 태그를 올려서 의도적으로 업데이트하세요.

서버 보안 강화

자가 호스팅 서버는 기본적으로 인증, 암호화 또는 네트워크 제한을 강제하지 않으므로 보안은 직접 책임져야 합니다. 로컬 개발 트래픽을 넘어 외부에 공개하기 전에 자가 호스팅 서버 보안 설정.

새 서버 사용하기

서버가 실행되면 HTTP API 또는 Inference SDK. 전체 가이드는 모델 실행 를 통해 첫 요청을 보내고 Docker 구성 옵션 를 사용해 컨테이너를 조정하세요.

엔터프라이즈 고려 사항

Helm 차트 는 엔터프라이즈 클라우드 배포에 사용할 수 있으며, OT 네트워크 배포를 지원하는 엔터프라이즈 네트워킹 솔루션도 요청 시 제공됩니다.

Roboflow는 대규모 조직의 일원으로 더 자세한 정보를 알고 싶다면 맞춤형 지원 및 설치 패키지와 사전 구성된 Jetson 기반 엣지 장치 도 판매하며, 빠른 프로토타이핑에 적합합니다. 영업팀에 문의하세요 도 제공합니다. 전체 기능 세트는 엔터프라이즈 배포 에서 확인하세요.

이전추론 서버 다음최소 요구 사항

마지막 업데이트 5일 전

도움이 되었나요?