> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server.md). # 추론 서버 추론 서버가 무엇인지, Docker와 Inference CLI로 시작하는 방법, 그리고 내장된 JupyterLab 노트북을 여는 방법. Inference Server는 다음을 감싸는 독립형 마이크로서비스입니다 [`inference` Python 패키지](/deployment/ko/self-hosted/inference-library.md). 이미지를 위한 HTTP 엔드포인트와 비디오 스트림을 위한 WebRTC 엔드포인트를 제공합니다. 하나의 서버는 여러 클라이언트를 지원하고 동일한 모델과 [워크플로](https://docs.roboflow.com/workflows) Roboflow의 호스팅 API와 동일합니다. 자체 호스팅을 위한 권장 방법입니다: 다음을 참조하세요 [경로를 선택하세요](/deployment/ko/self-hosted/self-hosted.md#pick-a-path) 라이브러리를 직접 실행하는 것과 어떻게 다른지 확인하세요. ## 실행 위치 Raspberry Pi, NVIDIA GPU, NVIDIA Jetson 또는 일반 서버 같은 자체 하드웨어에서 서버를 자체 호스팅하려면 [Docker](/deployment/ko/self-hosted/inference-server/install.md), 또는 [자신의 AWS, GCP 또는 Azure 계정에서](/deployment/ko/self-hosted/inference-server/install/cloud.md). Roboflow도 동일한 서버를 다음 형태로 대신 실행해 줍니다: [Serverless Cloud API](/deployment/ko/roboflow-cloud/serverless-api.md) 와 [전용 배포](/deployment/ko/roboflow-cloud/dedicated-deployments.md): 다음을 참조하세요 [배포 옵션 선택](/deployment/ko/choosing-a-deployment.md). 어느 것을 선택하든, 다음을 통해 상호작용합니다 [Inference SDK](https://docs.roboflow.com/reference/inference/inference-sdk), 둘은 하나의 인터페이스를 공유하기 때문입니다: 변경되는 것은 `api_url` 만 바뀝니다. ## Docker로 실행 시작하기 전에 다음을 확인하세요 [Docker가 설치되어 있습니다](https://www.docker.com/get-started) 당신의 컴퓨터에. Inference Server를 시작하는 가장 쉬운 방법은 다음을 사용하는 것입니다 [Inference CLI](https://docs.roboflow.com/reference/inference/inference-cli): ```bash pip install inference-cli && inference server start ``` 이렇게 하면 적절한 Docker 이미지를 가져오고 기본적으로 9001 포트를 공개합니다. `127.0.0.1` Jetson 이미지와 `--tunnel` 은 공개를 시작합니다 `0.0.0.0`; 다음을 참조하세요 [서버 보안](/deployment/ko/self-hosted/inference-server/configuration/security.md#restrict-network-access) 원격 클라이언트를 허용하기 전에. 다음으로 서버 상태를 확인하세요: ```bash inference server status ``` ## Docker 컨테이너 수동 설정 `inference server start` 실행됩니다 `docker run` 권장 보안 설정, 캐싱 및 플랫폼별 옵션을 적용하여 내부적으로. 컨테이너를 직접 시작하려면 사용 중인 플랫폼의 설치 가이드에서 "컨테이너를 수동으로 시작하기" 섹션을 참조하세요: * [Linux](/deployment/ko/self-hosted/inference-server/install/linux.md#manually-starting-the-container) * [Windows](/deployment/ko/self-hosted/inference-server/install/windows.md#manually-starting-the-container) * [Mac](/deployment/ko/self-hosted/inference-server/install/mac.md#using-docker) * [Jetson](/deployment/ko/self-hosted/inference-server/install/jetson.md#manually-starting-the-container) * [Raspberry Pi](/deployment/ko/self-hosted/inference-server/install/raspberry-pi.md#manually-starting-the-container) 컨테이너 설정은 환경 변수로 제어됩니다: 다음을 참조하세요 [Docker 구성 옵션](/deployment/ko/self-hosted/inference-server/configuration/docker-configuration.md) 및 전체 [환경 변수 참조](/deployment/ko/self-hosted/inference-server/configuration/environment-variables.md). ## 내장 JupyterLab 노트북 Inference Server에는 내장 JupyterLab 환경이 포함되어 있으며, 이는 개발 및 테스트 중 실험하는 가장 빠른 방법입니다. 기본적으로 비활성화되어 있으므로 서버를 다음 옵션으로 시작하세요 `--dev` 를 사용해 활성화합니다: ```bash pip install inference-cli inference server start --dev ``` 그런 다음 다음을 엽니다 `http://localhost:9001` 브라우저에서 Inference 시작 페이지를 확인하세요. 여기에는 리소스, 예제 및 내장 JupyterLab 환경으로 연결되는 링크가 있습니다. 새 탭에서 JupyterLab을 열려면 "Jump Into an Inference Enabled Notebook"을 선택하세요. 여기에는 예제 노트북과 Inference 실행에 필요한 모든 종속성이 미리 로드되어 있습니다. {% hint style="warning" %} 다음 `--dev` 노트북 환경은 로컬 개발용입니다. 신뢰할 수 없는 네트워크에서 접근 가능한 서버에서는 활성화하지 마세요: 다음을 참조하세요 [자체 호스팅 서버 보안 설정](/deployment/ko/self-hosted/inference-server/configuration/security.md). {% endhint %} ## 비디오 스트리밍 Inference SDK WebRTC 클라이언트를 사용해 웹캠, 카메라 피드 및 비디오 파일을 모델 또는 워크플로를 통해 스트리밍하세요: ```bash pip install "inference-sdk[webrtc]" ``` 다음을 설정하세요 `api_url="http://localhost:9001"` 생성할 때 `InferenceHTTPClient`. 참조: [WebRTC 스트리밍](https://docs.roboflow.com/reference/inference/inference-sdk/webrtc) 모델 및 워크플로 예제는 다음을 참조하거나 [Workflows를 사용한 비디오 처리](https://docs.roboflow.com/workflows/deploy/video-processing) 작업 기반 가이드는 다음을 따르세요. ## 이 섹션에서
Inference Server 설치요구 사항, 기기별 설치 가이드, 자체 클라우드, 업데이트.추론 서버 설치
모델 실행HTTP를 통한 첫 요청, 모델 ID, 시각화.자체 호스팅 배포
구성컨테이너 옵션, 환경 변수, 보안, HTTPS 및 텔레메트리.구성
아키텍처요청, 비디오, 워크플로가 서버를 통해 어떻게 흐르는지.Inference 아키텍처