추론 서버 환경 변수

자체 호스팅 Roboflow Inference 서버를 제어하는 환경 변수 - 실행 공급자, 캐싱, Workflows, Roboflow API 재시도, 원격 측정, HTTPS, 보안 포함.

Inference 서버의 동작은 일련의 환경 변수로 제어됩니다. 모든 변수는 inference/core/env.py에 정의되어 있으며, 아래 항목들은 추가 설명이 필요한 변수들입니다.

다음을 사용해 컨테이너에 전달하세요 -e (가장 자주 변경되는 설정은 Docker 구성 옵션 를 참조하세요):

docker run -it --rm -e ENV_VAR_NAME=env_var_value -p 9001:9001 roboflow/roboflow-inference-server-cpu:latest

이 변수들은 Inference 서버를 구성합니다. Roboflow CLI와 Python SDK는 서로 다른 더 작은 변수 집합(ROBOFLOW_API_KEY, ROBOFLOW_CONFIG_DIR등)을 읽습니다. 자세한 내용은 참조 섹션의 환경 변수 를 보세요.

실행 및 모델

변수	설명	기본값
ONNXRUNTIME_EXECUTION_PROVIDERS	우선순위 순의 실행 제공자 목록입니다. 플랫폼에서 지원되지 않는 제공자가 있으면 경고가 표시됩니다.	다음을 참조하세요 env.py
RUNS_ON_JETSON	Inference가 Jetson 장치에서 실행되는지 여부입니다. True 로 설정하세요. Jetson 아키텍처용 모든 Docker 빌드에서 이 값이 설정됩니다.	False
MODEL_VALIDATION_DISABLED	시험 추론을 건너뛰어 모델 로딩을 더 빠르게 만듭니다.	False
SAM2_MAX_EMBEDDING_CACHE_SIZE	GPU 메모리에 보관되는 SAM2 임베딩 수입니다. 각 임베딩은 16777216바이트를 차지합니다.	100
SAM2_MAX_LOGITS_CACHE_SIZE	CPU 메모리에 보관되는 SAM2 로짓 수입니다. 각 로짓은 262144바이트를 차지합니다.	1000
DISABLE_SAM2_LOGITS_CACHE	SAM2 로짓 캐싱을 비활성화합니다. 디버깅하거나 메모리 사용량을 최소화하는 데 유용하지만, 유사한 반복 요청의 속도는 느려집니다.	False

inference-models 백엔드

변수	설명	기본값
USE_INFERENCE_MODELS	을 선택합니다. inference-models 백엔드.	False
MAX_INFERENCE_MODELS_CACHE_SIZE_MB	캐시 감시 프로그램을 활성화합니다. inference-models 보다 크게 설정하면 0감시 프로그램이 모델 아티팩트를 정리하여(가장 오래되고 가장 큰 것부터) 시간이 지나면서 시스템의 디스크 공간이 부족해지는 것을 방지합니다. 다음 경우에만 적용됩니다. USE_INFERENCE_MODELS=True.	-1
INFERENCE_MODELS_CACHE_WATCHDOG_INTERVAL_MINUTES	의 주기 inference-models 캐시 감시 프로그램 사이클 빈도입니다. 최소값은 15분입니다.	60
ENABLE_CUDA_MEMORY_RECLAMATION_WATCHDOG	주기적으로 캐시되었지만 사용되지 않는 CUDA 메모리를 드라이버에 반환하는 백그라운드 데몬을 활성화합니다. torch.cuda.empty_cache()를 통해 반환합니다. PyTorch의 캐싱 할당자는 해제된 디바이스 블록을 자체 풀에 보관하고 스스로는 절대 해제하지 않으므로, 장시간 실행되는 서버에서는 동시 또는 배치 추론의 최대 사용량이 그대로 남고 예약된 VRAM만 계속 증가합니다. 이 감시 프로그램은 고정된 간격으로 그 여유분을 회수하며, 현재 할당 중인 메모리는 건드리지 않습니다. 진정으로 과도하게 할당된 동시 피크로 인해 발생하는 OOM을 막지는 못합니다. CUDA에서 USE_INFERENCE_MODELS=True 에서만 의미가 있습니다.	False
CUDA_MEMORY_RECLAMATION_WATCHDOG_INTERVAL_SECONDS	CUDA 메모리 감시 프로그램의 회수 사이클 간격입니다. 최소값은 5 초입니다(더 낮은 값은 상향 조정됩니다). 다음 경우에만 적용됩니다. ENABLE_CUDA_MEMORY_RECLAMATION_WATCHDOG=True.	300

워크플로 및 비디오

변수	설명	기본값
ENABLE_WORKFLOWS_PROFILING	서버가 Workflows 프로파일러 추적을 클라이언트에 반환하도록 허용합니다.	False
WORKFLOWS_PROFILER_BUFFER_SIZE	프로파일러 버퍼의 크기: 연속된 Workflows Execution Engine run(...) 호출이 버퍼에 추적되는 횟수입니다.	64
WORKFLOWS_DEFINITION_CACHE_EXPIRY	다음에서 반환된 Workflow 정의를 캐시하는 초 수입니다. get_workflow_specification(...).	900 (15분)
ENABLE_STREAM_API	비디오 관리 API를 활성화합니다. 표준 CPU, GPU, TensorRT 이미지에서는 이 값을 True로 설정하며, JetPack 5.1.1 및 6.2.0 이미지도 마찬가지입니다. slim 이미지와 JetPack 6.0.0 및 7.1.0 이미지는 그렇지 않습니다.	False 이미지 외부에서 설정하는 경우
STREAM_API_PRELOADED_PROCESSES	예열된 유휴 비디오 작업자 수입니다. 이렇게 하면 GPU에서 작업자 시작 시간이 줄어듭니다.	0

Roboflow API 연결성

변수	설명	기본값
TRANSIENT_ROBOFLOW_API_ERRORS	재시도해야 하는 Roboflow API의 HTTP 코드 목록(쉼표로 구분). (GET 엔드포인트만 해당)	설정되지 않음
TRANSIENT_ROBOFLOW_API_ERRORS_RETRIES	일시적 오류(연결 오류 및 일시적 HTTP 코드)를 재시도하는 횟수(GET 엔드포인트만 해당)입니다.	3
TRANSIENT_ROBOFLOW_API_ERRORS_RETRY_INTERVAL	일시적 Roboflow API 오류를 재시도할 때의 지연 시간(GET 엔드포인트만 해당)입니다.	3
RETRY_CONNECTION_ERRORS_TO_ROBOFLOW_API	Roboflow API 연결 오류를 재시도할지 여부(GET 엔드포인트만 해당)입니다.	False
ROBOFLOW_API_REQUEST_TIMEOUT	Roboflow API에 대한 요청의 제한 시간(초, 정수)입니다.	설정되지 않음
API_PROXY_BASE_URL	Roboflow API 프록시 요청에 사용되는 기본 URL입니다. apiproxy/* 엔드포인트를 대상으로 합니다. 장시간 실행되는 타사 프록시 호출에서 Firebase Hosting 제한 시간을 우회하려면 이를 직접적인 heavy-API Cloud Run 서비스 루트로 설정하세요.	의 값 API_BASE_URL
DISABLE_VERSION_CHECK	백그라운드 스레드에서 실행되는 Inference 버전 검사를 비활성화합니다. 다음일 때 강제로 True (명시적 설정을 무시하고 False) SECURE_GATEWAY 가 구성되어 있으면, api.github.com 이 게이트웨이 뒤에서는 접근할 수 없기 때문입니다.	False
SECURE_GATEWAY	다음의 주소 Roboflow Secure Gateway 공기 차단 배포용(레거시 별칭: LICENSE_SERVER). Roboflow API 및 모델 다운로드 트래픽을 게이트웨이 프록시를 통해 라우팅하고, 버전 검사를 강제로 비활성화하며, 다음일 때는 로컬 Workflow 단계 실행으로 대체합니다. 원격 및 호스팅된 가 구성됩니다. 참고하세요 Docker 구성 옵션.	설정되지 않음

모니터링 및 텔레메트리

변수	설명	기본값
ENABLE_PROMETHEUS	Prometheus /metrics 엔드포인트를 활성화합니다. 참고하세요 텔레메트리.	True Docker Hub 이미지용
DOCKER_SOCKET_PATH	컨테이너에 마운트된 Docker 데몬 소켓의 경로입니다. 제공되면 데몬 소켓에서 Docker 컨테이너 통계를 폴링하도록 활성화합니다. 참고하세요 텔레메트리.	설정되지 않음
METRICS_ENABLED	Roboflow 모델 모니터링.	True
MODEL_MONITORING_CACHE_BACKEND	모델 모니터링 pingback 데이터용 캐시 백엔드입니다. default 를 사용하면 일반적인 캐시 선택을 따릅니다(다음일 때 Redis, REDIS_HOST 가 구성되어 있으면 그렇지 않으면 메모리), 또는 memory 를 사용하면 프로세스 로컬 버퍼링을 강제하고 Redis를 추론의 핫 경로에서 제외합니다.	default

HTTPS

변수	설명	기본값
ENABLE_HTTPS	Inference 서버의 HTTPS를 전환합니다. 다음일 때 True서버는 SSL_CERTFILE 및 SSL_KEYFILE 를 읽고 TLS로 트래픽을 제공합니다. 참고하세요 HTTPS를 통한 Inference 제공.	False
SSL_CERTFILE	다음일 때 제공되는 PEM 인코딩 TLS 인증서의 경로입니다. ENABLE_HTTPS=True.	/etc/inference/certs/server.crt
SSL_KEYFILE	다음과 짝을 이루는 PEM 인코딩 TLS 개인 키의 경로입니다. SSL_CERTFILE.	/etc/inference/certs/server.key
SSL_KEYFILE_PASSWORD	개인 키가 암호화되어 있을 때 이를 복호화하는 데 사용되는 암호문구입니다. SSL_KEYFILE 개인 키가 암호화된 경우.	설정되지 않음
SSL_CA_CERTS	클라이언트 인증서 검증(mTLS)이 필요할 때 사용되는 CA 번들의 경로입니다.	설정되지 않음

인증 및 입력 보안

변수	설명	기본값
WORKSPACES_WHITELISTED_FOR_LOCAL_DEPLOYMENT	이 서버에 대한 요청 실행이 허용된 Roboflow 작업 공간 URL 슬러그의 쉼표 구분 목록입니다. 설정되면 docs, 랜딩 페이지, health, liveness, metrics 엔드포인트를 제외한 모든 요청은 Roboflow API 키로 승인됩니다.	설정되지 않음

사용자 정의 Python 실행 및 URL 이미지 가져오기를 제어하는 변수(ALLOW_CUSTOM_PYTHON_EXECUTION_IN_WORKFLOWS, ALLOW_URL_INPUT, ALLOW_URL_TO_NON_GLOBAL_ADDRESSES, VALIDATE_IMAGE_URL_REDIRECTS등)은 자가 호스팅 서버 보안 설정 및 허용되는 입력 형식.