Inference 서버

Inference Server가 무엇인지, Docker와 Inference CLI로 시작하는 방법, 그리고 내장된 JupyterLab 노트북을 여는 방법입니다.

Inference Server는 다음을 감싸는 독립형 마이크로서비스입니다. inference Python 패키지. 이미지를 위한 HTTP 엔드포인트와 비디오 스트림을 위한 WebRTC 엔드포인트를 제공합니다. 하나의 서버는 여러 클라이언트에 서비스를 제공하고 동일한 모델과 워크플로우 Roboflow의 호스팅 API와 같습니다. 자가 호스팅하는 권장 방법입니다: 다음을 참조하세요 경로 선택 직접 라이브러리를 실행하는 것과 어떻게 비교되는지는.

실행 위치

자신의 하드웨어(Raspberry Pi, NVIDIA GPU, NVIDIA Jetson 또는 일반 서버)에서 다음과 함께 서버를 자체 호스팅하세요. Docker, 또는 자신의 AWS, GCP 또는 Azure 계정에서. Roboflow는 또한 동일한 서버를 다음 형태로도 실행해 드립니다. 서버리스 클라우드 API 및 전용 배포: 다음을 참조하세요 배포 옵션 선택.

어느 것을 선택하든, 다음을 통해 그것과 통신합니다. Inference SDK, 둘은 하나의 인터페이스를 공유하기 때문입니다. 오직 api_url 변경됩니다.

Docker로 실행하기

시작하기 전에, 다음을 확인하세요 Docker가 설치되어 있는지 여러분의 머신에. Inference Server를 시작하는 가장 쉬운 방법은 다음을 사용하는 것입니다. Inference CLI:

pip install inference-cli && inference server start

이렇게 하면 종속성이 사전 설치된 상태로 여러분의 머신에 맞는 적절한 Docker 이미지를 내려받고, 포트 9001에서 Inference Server를 시작합니다. 다음으로 서버 상태를 확인하세요:

inference server status

Docker 컨테이너를 수동으로 설정하기

inference server start 은 docker run 권장 보안 설정, 캐싱, 그리고 플랫폼별 옵션과 함께 내부적으로 실행됩니다.

컨테이너를 직접 시작하려면 플랫폼의 설치 가이드에 있는 "컨테이너를 수동으로 시작하기" 섹션을 참조하세요:

• Linux

• Windows

• Mac

• Jetson

• Raspberry Pi

컨테이너 설정은 환경 변수로 제어됩니다: 다음을 참조하세요 Docker 구성 옵션 및 전체 환경 변수 참조.

내장 JupyterLab 노트북

Inference Server에는 개발과 테스트 중 실험을 가장 빠르게 할 수 있는 내장 JupyterLab 환경이 포함되어 있습니다. 기본적으로 비활성화되어 있으므로, 다음과 함께 서버를 시작하여 --dev 플래그로 활성화하세요:

pip install inference-cli
inference server start --dev

그런 다음 http://localhost:9001 을 브라우저에서 열어 리소스, 예제, 그리고 내장 JupyterLab 환경으로 연결되는 Inference 시작 페이지를 보세요. "Jump Into an Inference Enabled Notebook"을 선택하면 새 탭에서 JupyterLab이 열립니다. 예제 노트북과 Inference 실행에 필요한 모든 종속성이 미리 로드되어 있습니다.

다음 --dev 노트북 환경은 로컬 개발용입니다. 신뢰할 수 없는 네트워크에서 접근 가능한 서버에서는 이를 활성화하지 마세요: 다음을 참조하세요 자가 호스팅 서버 보안 강화.

비디오 스트리밍

Inference SDK WebRTC 클라이언트를 사용해 웹캠, 카메라 피드, 비디오 파일을 모델 또는 Workflow를 통해 스트리밍하세요:

pip install "inference-sdk[webrtc]"

설정하세요 api_url="http://localhost:9001" 를 생성할 때 InferenceHTTPClient. 다음을 참조하세요 WebRTC 스트리밍 의 모델 및 Workflow 예제를 보거나, 다음을 따르세요 Workflow를 사용한 비디오 처리 작업 기반 가이드를 위해.

이 섹션에서

Inference Server 설치

요구사항, 기기별 설치 가이드, 자체 클라우드, 그리고 업데이트.

모델 실행하기

HTTP를 통한 첫 요청, 모델 ID, 그리고 시각화.

구성

컨테이너 옵션, 환경 변수, 보안, HTTPS, 그리고 텔레메트리.

아키텍처

요청, 비디오, 그리고 Workflow가 서버를 통해 흐르는 방식.