Docker 구성 옵션

자체 호스팅 Roboflow 추론 컨테이너를 구성합니다 - 네트워킹, CORS, NMS 기본값, 모델 캐시, 워커, HTTPS, 그리고 Secure Gateway.

추론 서버에는 환경 변수로 설정하는 여러 구성 가능한 매개변수가 있습니다. 환경 변수를 설정하려면 docker run, 다음을 사용하세요. -e 플래그:

docker run -it --rm -e ENV_VAR_NAME=env_var_value -p 9001:9001 --gpus all roboflow/roboflow-inference-server-gpu:latest

이 페이지는 변경할 가능성이 가장 높은 옵션을 다룹니다. 전체 목록은 환경 변수.

네트워킹

HOST: 문자열(기본값 0.0.0.0). HTTP 인터페이스에서 사용되는 호스트 주소를 설정합니다.

PORT: 정수(기본값 9001). HTTP 인터페이스에서 사용되는 포트를 설정합니다.

ALLOW_ORIGINS: 문자열(기본값 *). 설정합니다 allow_origins HTTP 인터페이스에 대해 FastAPI와 함께 사용되는 CORS 미들웨어의 속성입니다. 여러 값을 쉼표로 구분해 제공할 수 있습니다. 예를 들어 ALLOW_ORIGINS=orig1.com,orig2.com.

추론 동작

CLASS_AGNOSTIC_NMS: 불리언(기본값 False). 탐지 모델(객체 탐지, 인스턴스 분할 등)에 대한 기본 비최대 억제(NMS) 동작을 설정합니다. True, NMS는 클래스 비종속적이므로 서로 다른 클래스의 겹치는 탐지는 IoU 임계값을 기준으로 제거될 수 있습니다. False, 동일한 클래스의 겹치는 탐지만 제거 대상으로 고려됩니다.

MAX_CANDIDATES: 정수(기본값 3000). 탐지를 위한 후보의 최대 개수입니다.

MAX_DETECTIONS: 정수(기본값 300). 모델이 반환하는 탐지 결과의 최대 개수입니다.

FIX_BATCH_SIZE: 불리언(기본값 False). True, 배치 크기는 이 서버에 구성된 최대 배치 크기로 고정됩니다.

MAX_ACTIVE_MODELS: 정수(기본값 8). 내부 모델 관리자가 한 번에 메모리에 유지하는 모델의 최대 개수입니다. 기본적으로 모델 큐는 새 모델을 위한 공간을 만들 때 가장 최근에 접근되지 않은 모델을 제거합니다.

NUM_WORKERS: 정수(기본값 1). HTTP 인터페이스에서 사용하는 워커 수입니다.

CLIP 모델 옵션

CLIP_VERSION_ID: 문자열(기본값 ViT-B-16). 모든 /clip 라우트에서 사용되는 OpenAI CLIP 버전을 설정합니다. 사용 가능한 버전은 RN101, RN50, RN50x16, RN50x4, RN50x64, ViT-B-16, ViT-B-32, ViT-L-14-336px그리고 ViT-L-14.

CLIP_MAX_BATCH_SIZE: 정수(기본값 8). CLIP 모델 추론 함수가 허용하는 최대 배치 크기를 설정합니다.

모델 캐시

MODEL_CACHE_DIR: 문자열(기본값 /tmp/cache). 루트 모델 캐시 디렉터리의 컨테이너 경로를 설정합니다.

TENSORRT_CACHE_PATH: 문자열(기본값: 다음 값) MODEL_CACHE_DIR). TensorRT 캐시 디렉터리의 컨테이너 경로를 설정합니다. 이 경로를 마운트된 호스트 볼륨과 함께 설정하면 TensorRT 기반 서버의 콜드 스타트 시간이 줄어듭니다.

지속형 모델 캐시

기본적으로 모델 가중치는 컨테이너 내부의 /tmp/cache 에 저장되며 컨테이너 재시작이나 시스템 재부팅 시 사라집니다. 프로덕션 배포에서는 다운로드한 가중치를 보존하기 위해 지속형 호스트 볼륨을 마운트하세요:

# 호스트에 지속형 캐시 디렉터리를 만듭니다
mkdir -p /var/lib/roboflow/cache

# 지속형 캐시로 컨테이너를 실행합니다
docker run -d \\
  -p 9001:9001 \\
  -v /var/lib/roboflow/cache:/tmp/cache \\
  -e MODEL_CACHE_DIR=/tmp/cache \\
  roboflow/roboflow-inference-server-cpu:latest

유의할 사항:

• 호스트 경로는 지속형 저장소에 있어야 하며, /tmp.

• 마운트된 디렉터리는 컨테이너 사용자에 맞는 적절한 권한이 필요합니다(일반적으로 UID 1000 또는 root, 이미지에 따라 다름).

• 지속형 캐시는 배포 전에 가중치를 미리 채워둘 수 있게 해 주며 컨테이너 업데이트 사이에도 유지합니다.

다음을 참조하세요 오프라인 가중치 다운로드 가중치를 미리 다운로드하고 캐싱하는 방법에 대한 자세한 내용은

HTTPS / TLS

ENABLE_HTTPS: 불리언(기본값 False). 설정하면 Inference Server가 HTTP 대신 HTTPS로 트래픽을 제공하며, 인증서와 개인 키를 SSL_CERTFILE 및 SSL_KEYFILE.

SSL_CERTFILE: 문자열(기본값 /etc/inference/certs/server.crt) 및 SSL_KEYFILE: 문자열(기본값 /etc/inference/certs/server.key). 컨테이너 내부의 PEM 인코딩된 인증서와 개인 키 경로입니다. 기본값은 마운트하기 편한 위치이므로, 일반적으로 인증서와 키를 /etc/inference/certs/ 에 바인딩하고 ENABLE_HTTPS=true.

SSL_KEYFILE_PASSWORD: 문자열(선택 사항). 개인 키가 암호화되어 있으면 이 값을 설정하세요.

SSL_CA_CERTS: 문자열(선택 사항). 클라이언트 인증서 검증(mTLS)이 필요할 때 CA 번들로 설정하세요.

자체 서명 인증서를 사용하는 전체 안내: HTTPS를 통한 Inference 제공.

보안 게이트웨이

SECURE_GATEWAY: 문자열(기본값 없음). 다음의 주소를 설정합니다 Roboflow Secure Gateway 에어갭 배포용 프록시입니다. Roboflow API와 모델 다운로드 트래픽은 이 프록시를 통해 라우팅됩니다. 프록시할 수 없는 트래픽은 다음과 같이 비활성화되거나 다른 경로로 라우팅됩니다:

• Inference 버전 확인(다음을 호출함) api.github.com는 강제로 비활성화됩니다: DISABLE_VERSION_CHECK 은 다음으로 설정됩니다 True 명시적으로 다르게 설정했더라도 마찬가지입니다.

• 만약 WORKFLOWS_STEP_EXECUTION_MODE=remote 가 다음과 함께 사용되면 WORKFLOWS_REMOTE_API_TARGET=hosted, 단계 실행은 다음으로 대체됩니다 로컬 경고와 함께, 호스팅된 Roboflow 추론 엔드포인트는 게이트웨이 프록시를 통해 도달할 수 없기 때문입니다. 원격 실행을 유지하려면 WORKFLOWS_REMOTE_API_TARGET=self-hosted 및 지정하세요 LOCAL_INFERENCE_API_URL (기본값 http://127.0.0.1:9001)를 게이트웨이 경계 내부에서 접근 가능한 Inference 서버로 설정하세요.

• 타사 통합(Google Vision 및 Gemini 직접 키 경로, Stability AI, Twilio 미디어 업로드, 외부 호스트로의 웹훅)은 프록시되지 않으며, 게이트웨이 네트워크가 이를 허용하지 않으면 실패합니다.

기존의 LICENSE_SERVER 환경 변수는 여전히 허용되지만 더 이상 권장되지 않습니다.