Ctrlk
ResourcesDocsSign InBook a DemoGet Started
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Inference Server 설치

Linux, Windows, macOS, NVIDIA Jetson, Raspberry Pi 또는 자체 클라우드에서 Docker나 기본 데스크톱 앱으로 Roboflow Inference Server를 설치합니다.

플랫폼에 맞는 설치 방법을 선택하세요. 모든 경로는 서버를 포트에서 시작합니다 9001.

Docker는 Inference를 실행하는 권장 방식입니다(참조 Docker를 사용하는 이유). Linux, macOS, Windows, Jetson 및 기타 Docker 지원 장치에서 작동합니다.

Docker를 설치하세요 먼저(그리고 NVIDIA Container Toolkit CUDA 지원 GPU가 있다면), 그런 다음 다음을 설치하고 실행하세요 Inference CLI:

pip install inference-cli && inference server start

이렇게 하면 자동으로 사용자의 머신에 맞는 최적의 컨테이너를 선택하고 구성합니다.

Docker 없이 네이티브 데스크톱 앱으로 Windows에서 Inference Server를 실행하세요.

  1. 최신 설치 프로그램을 다운로드하세요 그리고 실행하세요.

  2. 설치가 완료되면 Inference Server를 시작할지 제안합니다.

  3. 서버를 중지하려면 열리는 터미널 창을 닫으세요.

  4. 나중에 다시 시작하려면 다음을 찾으세요 Roboflow Inference 시작 메뉴에서.

참조 Windows에 설치 자세한 내용과 Docker 대안은 다음을 참조하세요.

Docker 없이 네이티브 데스크톱 앱으로 Apple Silicon Mac에서 Inference Server를 실행하세요.

  1. DMG를 다운로드하세요 그리고 여세요.

  2. Roboflow Inference 앱을 Applications 폴더로 드래그하세요.

  3. 응용 프로그램에서 앱을 더블클릭하여 서버를 시작하세요.

참조 Mac에 설치 자세한 내용, Docker 대안, MPS 가속은 다음을 참조하세요.

요구 사항

Inference는 사용자의 머신에 맞게 조정되며, 더 강력한 하드웨어에서 더 빠르게 실행됩니다. 최소 요구 사항은 64비트 프로세서, 4GB RAM, 20GB의 여유 디스크 공간입니다. Docker 위의 컨테이너 경로에는 필요합니다.

대상
하드웨어
OS
Docker 이미지

CPU

64비트 CPU, 4GB RAM, 20GB의 여유 디스크. SAM2 같은 대형 모델은 너무 느려서 실용적이지 않을 수 있습니다.

Linux, macOS 또는 WSL 2가 있는 Windows 10/11

roboflow/roboflow-inference-server-cpu

GPU

다음이 있는 CUDA 지원 NVIDIA GPU NVIDIA Container Toolkit 가 설치되어 있어야 합니다. 대형 모델과 실시간 비디오에 권장됩니다.

Linux(또는 WSL 2가 있는 Windows 10/11)

roboflow/roboflow-inference-server-gpu

NVIDIA Jetson

Jetson Orin 장치(Orin NX 16GB 이상 권장)로, JetPack 4.5, 4.6, 5.x 또는 6.x에서 실행됩니다. 이미지용으로 약 10GB의 여유 디스크를 확보하세요.

JetPack / L4T

roboflow/roboflow-inference-server-jetson-* (JetPack 전용, 자동 선택됨)

참조 최소 요구 사항 지원 및 권장 장치의 전체 목록은 다음을 참조하세요.

장치별 가이드

장치별 특별 설치 참고 사항 및 성능 팁:

Docker를 전혀 실행할 수 없다면, Inference Library 는 서버 대신 사용자의 Python 프로세스에서 모델을 실행합니다.

컨테이너를 직접 실행하기

일반적으로 이미지를 직접 선택하지 않습니다: inference server start 하드웨어를 감지하고 다음을 실행합니다 docker run 권장 보안 설정, 캐싱 및 플랫폼별 옵션으로 대신 실행합니다. 컨테이너를 직접 관리하려면 CPU 전용 호스트에서는 CPU 이미지를 사용하고, CUDA 호스트에서는 다음과 함께 GPU 이미지를 사용하세요 --gpus all CUDA 호스트에서.

수동 Docker 예제는 localhost 공개를 사용합니다. 원격 클라이언트의 경우 호스트 측 포트 매핑을 변경하고 다음을 구성하세요 서버 액세스.

다음을 설치하세요 NVIDIA Container Toolkit 먼저, 그런 다음 추가 --gpus all:

플랫폼 가이드에는 해당 장치에 대한 정확한 플래그가 있는 "컨테이너를 수동으로 시작하기" 섹션이 있습니다.

업데이트

Docker 이미지는 기본적으로 다음 태그를 사용합니다 :latest 태그. 최신 서버로 이동하려면 최신 이미지를 pull하거나 다음을 다시 실행하세요 inference server start, 그러면 대신 가져옵니다:

재현 가능한 배포를 위해서는 특정 버전 태그를 고정하세요 대신 :latest 그래야 업데이트로 인해 동작이 예기치 않게 바뀌지 않습니다. 예: roboflow/roboflow-inference-server-gpu:<version>. 사용 가능한 태그는 다음에서 확인하세요 Docker Hub, 그리고 고정된 태그를 올려 의도적으로 업데이트하세요.

서버 보안 강화

CLI는 Jetson 이미지와 터널 실행을 제외하고 기본적으로 localhost 공개를 사용합니다. 데스크톱 번들도 기본적으로 localhost를 사용합니다. 자체 호스팅 API 인증과 HTTPS는 여전히 선택 사항이며, Custom Python은 로컬에서 계속 활성화됩니다. 원격 클라이언트를 허용하기 전에 다음을 검토하세요 자체 호스팅 서버 보안 설정.

새 서버 사용하기

서버가 실행되면 다음을 통해 호출하세요 HTTP API 또는 다음을 사용하여 Inference SDK. 참조: 새 서버에서 모델을 실행하세요. 첫 요청에 사용하고, Docker 구성 옵션 컨테이너를 조정할 때 사용하세요.

엔터프라이즈 관련 고려 사항

Helm 차트 는 엔터프라이즈 클라우드 배포에 사용할 수 있으며, OT 네트워크 배포를 지원하는 엔터프라이즈 네트워킹 솔루션은 요청 시 제공됩니다.

Roboflow는 맞춤형 지원 및 설치 패키지도 제공하며 사전 구성된 Jetson 기반 엣지 장치 빠른 프로토타이핑에 적합합니다. 영업팀에 문의하세요 대규모 조직에 속해 있고 더 자세히 알고 싶다면. 다음을 참조하세요 엔터프라이즈 배포 전체 기능 집합은.

이전Inference 서버
다음최소 요구 사항

마지막 업데이트

도움이 되었나요?