구성

자체 호스팅 Roboflow 추론 서버를 구성, 보호, 모니터링하세요 - 컨테이너 옵션, 환경 변수, HTTPS, 입력 형식, 메트릭을 포함합니다.

기본 추론 서버는 다음과 함께 시작됩니다 inference server start 로컬 개발에 맞게 조정되어 있습니다: 일반 HTTP로 9001 포트에서 수신하고, 모든 입력 형식을 수용하며, 인증을 적용하지 않습니다. 이 섹션의 페이지는 서버를 노트북을 넘어 배포한 뒤 변경해야 하는 항목을 다룹니다.

첫 번째 모델을 실행하는 데는 이 모든 것이 필요하지 않습니다. 서버를 다른 머신에 노출하거나, 프로덕션에서 실행하거나, 리소스 사용량을 고정하거나, 부하가 걸릴 때 어떻게 동작하는지 확인하고 싶을 때 다시 여기로 오세요.

컨테이너 조정

• Docker 구성 옵션 - 포트, CORS, 워커 수, NMS 기본값, 모델 캐시, 그리고 Secure Gateway.

• 추론 서버 환경 변수 - 서버가 읽는 모든 변수의 전체 참조 목록이며, 영역별로 분류되어 있습니다.

서버 강화

• 자가 호스팅 서버 보안 설정 - 네트워크 격리, 인증, TLS, 사용자 지정 Python 제한, 그리고 SSRF 제어. 서버를 localhost 밖으로 노출하기 전에 여기서 시작하세요.

• HTTPS를 통한 Inference 제공 - 자체 인증서로 TLS를 종료하고, 암호화된 키를 사용하며, 상호 TLS를 요구합니다.

• 허용되는 입력 형식 - 서버가 허용하는 페이로드 유형과, 피클된 numpy 배열 및 URL 이미지 가져오기 같은 더 위험한 유형을 비활성화하는 방법.

실행 상태 보기

• 추론 서버 텔레메트리 - 실행 중인 서버의 Prometheus 메트릭과 Docker 컨테이너 통계.

구성하기 추론 CLI 및 SDK 는 서버 구성과는 별개입니다. 이 페이지의 변수들은 컨테이너 내부의 서버 프로세스가 읽습니다.