Inference Server の環境変数

self-hosted の Roboflow Inference サーバーを制御する環境変数 - 実行プロバイダ、キャッシュ、Workflows、Roboflow API の再試行、テレメトリ、HTTPS、セキュリティ。

推論サーバーの動作は、一連の環境変数によって制御されます。各変数は以下で定義されています inference/core/env.py。以下の項目は、より詳しい説明が必要な変数です。

それらをコンテナに渡すには -e を使用します（ Docker の設定オプション で、最もよく変更される設定を確認できます）：

docker run -it --rm -e ENV_VAR_NAME=env_var_value -p 127.0.0.1:9001:9001 roboflow/roboflow-inference-server-cpu:latest

これらの変数は Inference サーバーを構成します。Roboflow CLI と Python SDK は、別のより少ない変数セット（ROBOFLOW_API_KEY, ROBOFLOW_CONFIG_DIR、その他）を読み取ります。詳細は 環境変数 を参照してください。

最近のセキュリティ設定のソースとリリース範囲については、 セキュリティ設定の移行.

実行とモデル

変数	説明	デフォルト
ONNXRUNTIME_EXECUTION_PROVIDERS	優先順位順の実行プロバイダーの一覧。お使いのプラットフォームでサポートされていないプロバイダーがある場合は警告が表示されます。	参照 env.py
RUNS_ON_JETSON	Inference が Jetson デバイス上で動作するかどうか。Jetson アーキテクチャ向けのすべての Docker ビルドでは True に設定されます。	False
MODEL_VALIDATION_DISABLED	試行推論をスキップすることで、モデルの読み込みを高速化します。	False
SAM2_MAX_EMBEDDING_CACHE_SIZE	GPU メモリに保持される SAM2 埋め込みの数。各埋め込みは 16777216 バイトを使用します。	100
SAM2_MAX_LOGITS_CACHE_SIZE	CPU メモリに保持される SAM2 ロジットの数。各ロジットは 262144 バイトを使用します。	1000
DISABLE_SAM2_LOGITS_CACHE	SAM2 ロジットのキャッシュを無効にします。デバッグやメモリ使用量の最小化に有用ですが、同様の繰り返しリクエストが遅くなる代償があります。	False

inference-models バックエンド

変数	説明	デフォルト
USE_INFERENCE_MODELS	inference-models バックエンドを選択します。画像設定で上書きされる場合があります。	コアライブラリでは False
ALLOW_INFERENCE_MODELS_DIRECTLY_ACCESS_LOCAL_PACKAGES	コードを含むローカルのモデルパッケージを許可します。オンラインのモデル認可とは互換性がありません。参照： モデルパッケージのセキュリティ.	False
ALLOW_INFERENCE_MODELS_UNTRUSTED_PACKAGES	未信頼として分類されたダウンロード済みパッケージを許可します。ローカルの直接読み込みとは別です。参照： イメージ移行のデフォルト.	コアライブラリでは False。イメージ依存
MAX_INFERENCE_MODELS_CACHE_SIZE_MB	inference-models のキャッシュ監視を有効にします。0 より大きく設定すると、監視機構がモデル成果物を（古いもの、サイズの大きいものの順に）整理して、時間の経過によるディスク容量不足を防ぎます。USE_INFERENCE_MODELS=True の場合のみ適用されます。	-1
INFERENCE_MODELS_CACHE_WATCHDOG_INTERVAL_MINUTES	inference-models キャッシュ監視の実行頻度。最小は 15 分です。	60
ENABLE_CUDA_MEMORY_RECLAMATION_WATCHDOG	バックグラウンドデーモンを有効にし、キャッシュされているが未使用の CUDA メモリを torch.cuda.empty_cache() 経由で定期的にドライバーへ返します。PyTorch のキャッシュアロケータは解放されたデバイスブロックを独自のプールに保持し、自力では解放しないため、長時間稼働するサーバーでは同時推論やバッチ推論の最大使用量が残り、予約済み VRAM は増え続けます。この監視機構は固定間隔でその余剰分を回収します。実際に使用中の割り当てには触れません。真に過剰に同時実行されたピークによる OOM は防げません。CUDA 上で USE_INFERENCE_MODELS=True の場合にのみ意味があります。	False
CUDA_MEMORY_RECLAMATION_WATCHDOG_INTERVAL_SECONDS	CUDA メモリ監視の回収サイクル間隔。最小は 5 秒です（それ未満の値は切り上げられます）。ENABLE_CUDA_MEMORY_RECLAMATION_WATCHDOG=True の場合のみ適用されます。	300

ワークフローと動画

変数	説明	デフォルト
ENABLE_WORKFLOWS_PROFILING	サーバーが Workflows のプロファイラトレースをクライアントに返せるようにします。	False
WORKFLOWS_PROFILER_BUFFER_SIZE	プロファイラバッファのサイズ。バッファ内で追跡される、連続した Workflows Execution Engine の run(...) 呼び出し回数です。	64
WORKFLOWS_DEFINITION_CACHE_EXPIRY	get_workflow_specification(...) が返す Workflow 定義をキャッシュする秒数。	900（15分）
ENABLE_STREAM_API	統合動画管理 API を有効にします。標準の CPU、GPU、TensorRT イメージではこれが True に設定されます。同様に JetPack 5.1.1 と 6.2.0 のイメージでも True です。slim イメージおよび JetPack 6.0.0 と 7.1.0 のイメージでは有効ではありません。固定しているイメージを確認してください。	コアライブラリでは False。記載のイメージでは True
STREAM_API_PRELOADED_PROCESSES	ウォーム状態のアイドル動画ワーカーの目標数。GPU 上でのワーカー起動時間を短縮します。イメージで上書きされる場合があります。	コアライブラリでは 0
STREAM_MANAGER_MAX_ACTIVE_PIPELINES	アイドルワーカーを含む管理対象パイプラインプロセスの上限。上限を超えて新しいワーカーが必要なリクエストは拒否されます。STREAM_API_PRELOADED_PROCESSES のほうが高い場合は、その値まで引き上げられます。参照： 動画の設定.	8
STREAM_MANAGER_MAX_RAM_MB	ストリームマネージャーとそのワーカー用の総 RAM 予算。見積もり上の合計がこれを超える場合、新しいワーカーは拒否されます。これは推定に基づく保護であり、厳密なメモリ上限ではありません。	未設定（RAM 上限なし）
ALLOW_UNSAFE_GSTREAMER_PIPELINES	保留中の runtime-hardening ビルドにおいて、信頼された生のパイプラインに対するメディア参照の検証を迂回します。参照： 移行範囲.	そのビルドでは False
ALLOW_CUSTOM_PYTHON_EXECUTION_IN_WORKFLOWS	Custom Python のローカル実行を許可します。Modal 実行は無効にしません。	True
WORKFLOWS_CUSTOM_PYTHON_EXECUTION_MODE	ローカルまたは Modal の Custom Python 実行を選択します。参照： オフライン移行時の動作.	local
ALLOW_WEBHOOK_WORKFLOWS_SINK_TO_NON_GLOBAL_ADDRESSES	Webhook Sink がループバック、プライベート、リンクローカル、およびその他のグローバルでないアドレスに接続することを許可します。未信頼の呼び出し元が webhook の宛先を選べる場合は False に設定してください。いずれの値でもリダイレクトと HTTP(S) プロキシは拒否されます。参照： サーバーのセキュリティ.	True

GPU テンソルパイプライン

対応する NVIDIA GPU では、Workflows は画像データを動画デコードからモデル推論、出力まで CPU に移さず GPU 上に保持できます。これにより、GPU を多用する動画 Workflows のレイテンシが低下します。必要なのは USE_INFERENCE_MODELS=True、計算能力 7.5 以上の GPU（例: T4、RTX 20 シリーズ以降。V100 は不可）、および onnx.gpu または Jetson の Docker イメージです。適合する GPU とイメージがない場合、Inference は通常の CPU ベースの実行にフォールバックします。

変数	説明	デフォルト
ENABLE_TENSOR_DATA_REPRESENTATION	GPU テンソルパイプラインを有効にします。GPU 常駐の Workflows 実行と、ハードウェア支援（NVDEC）による動画デコードです。	False
WORKFLOWS_IMAGE_TENSOR_DEVICE	テンソルパイプラインが有効なときに、Torch のどのデバイスへ Workflow テンソルを配置するかです。	利用可能なら cuda、そうでなければ cpu
VIDEO_SOURCE_BUFFER_SIZE	各動画ソースごとにバッファされるデコード済みフレーム数。	テンソルパイプラインが有効なら 8、それ以外は 64
VIDEO_SOURCE_ADAPTIVE_BACKPRESSURE	推定フレームレートではなくバッファ状態に基づいて、バッファ済みフレームを削除します。	ENABLE_TENSOR_DATA_REPRESENTATION と一致
WORKFLOWS_ENFORCE_DENSE_INSTANCE_MASKS	テンソルパイプラインモデルから、RLE エンコードされたマスクではなく密なインスタンスセグメンテーションマスクを返します。	False
WORKFLOWS_SAM_VIDEO_MASK_REPRESENTATION	テンソルパイプライン内の SAM 動画追跡ブロックで使用されるマスク形式（rle または dense）です。	rle
DISABLE_GSTREAMER_VIDEO_SOURCES	GStreamer ベースの動画ソースを無効にし、標準の CPU デコードを強制します。	False

Roboflow API 接続性

変数	説明	デフォルト
TRANSIENT_ROBOFLOW_API_ERRORS	Roboflow API の HTTP ステータスコードのカンマ区切り一覧。これらは再試行対象になります（GET エンドポイントのみ）。	未設定
TRANSIENT_ROBOFLOW_API_ERRORS_RETRIES	一時的エラー（接続エラーおよび一時的な HTTP コード）を再試行する回数です（GET エンドポイントのみ）。	3
TRANSIENT_ROBOFLOW_API_ERRORS_RETRY_INTERVAL	Roboflow API の一時的エラーを再試行するまでの遅延です（GET エンドポイントのみ）。	3
RETRY_CONNECTION_ERRORS_TO_ROBOFLOW_API	Roboflow API への接続エラーを再試行するかどうかです（GET エンドポイントのみ）。	False
ROBOFLOW_API_REQUEST_TIMEOUT	Roboflow API へのリクエストのタイムアウト秒数（整数）。	未設定
API_PROXY_BASE_URL	apiproxy/* エンドポイントへの Roboflow API プロキシ要求に使用されるベース URL です。長時間実行されるサードパーティのプロキシ呼び出しで Firebase Hosting のタイムアウトを回避するには、これを直接 heavy-API Cloud Run サービスのルートに設定してください。	API_BASE_URL の値
DISABLE_VERSION_CHECK	バックグラウンドスレッドで実行される Inference のバージョンチェックを無効にします。SECURE_GATEWAY が設定されている場合は、api.github.com がゲートウェイの背後から到達できないため、明示的な False を上書きして True に強制設定されます。	False
SECURE_GATEWAY	のアドレス Roboflow Secure Gateway エアギャップ環境向け（旧エイリアス: LICENSE_SERVER）。Roboflow API とモデルのダウンロード通信をゲートウェイプロキシ経由にし、バージョンチェックを強制的に無効化し、リモート＋ホスト型が設定されている場合はローカルの Workflow ステップ実行にフォールバックします。参照： Docker の設定オプション.	未設定

監視とテレメトリ

変数	説明	デフォルト
ENABLE_PROMETHEUS	Prometheus の /metrics エンドポイントを有効にします。参照： テレメトリ.	Docker Hub イメージでは True
DOCKER_SOCKET_PATH	コンテナにマウントされた Docker デーモンソケットへのパスです。指定すると、デーモンソケットから Docker コンテナ統計のポーリングが有効になります。参照： テレメトリ.	未設定
METRICS_ENABLED	Roboflow の モデル監視.	True
MODEL_MONITORING_CACHE_BACKEND	モデル監視の pingback データ用キャッシュバックエンドです。default を使用すると通常のキャッシュ選択に従います（REDIS_HOST が設定されていれば Redis、そうでなければメモリ）。memory を使うとプロセスローカルのバッファリングを強制し、Redis を推論のホットパスから外します。	default

HTTPS

変数	説明	デフォルト
ENABLE_HTTPS	Inference サーバーの HTTPS を切り替えます。True の場合、サーバーは SSL_CERTFILE と SSL_KEYFILE を読み取り、TLS でトラフィックを提供します。参照： HTTPS で Inference を提供する.	False
SSL_CERTFILE	ENABLE_HTTPS=True のときに提供される、PEM 形式の TLS 証明書へのパス。	/etc/inference/certs/server.crt
SSL_KEYFILE	SSL_CERTFILE と対になる、PEM 形式の TLS 秘密鍵へのパス。	/etc/inference/certs/server.key
SSL_KEYFILE_PASSWORD	Uvicorn 用の暗号化キーのパスフレーズ。並列 Gunicorn ランチャーではサポートされていません。	未設定
SSL_CA_CERTS	HTTPS 用のクライアント CA バンドル。参照： mTLS の強制とリリース範囲.	未設定

認証と入力セキュリティ

変数	説明	デフォルト
WORKSPACES_WHITELISTED_FOR_LOCAL_DEPLOYMENT	推論、Workflow、統合パイプライン要求に許可される Workspace スラッグ。参照： 認証と例外.	未設定
MODELS_CACHE_AUTH_ENABLED	呼び出し元がオンラインで Roboflow モデルへアクセスできるかを確認します。このモードではローカルのパッケージを直接読み込むことは拒否されます。	False
ALLOW_OFFLINE_MODEL_CACHE_AUTH_BYPASS	オフラインモードとモデルキャッシュ認証の両方が有効な場合に必要となる、明示的な認可バイパスです。信頼できる単一テナント環境でのみ使用してください。	False

カスタム Python の実行と URL 画像取得を制御する変数（ALLOW_CUSTOM_PYTHON_EXECUTION_IN_WORKFLOWS, ALLOW_URL_INPUT, ALLOW_URL_TO_NON_GLOBAL_ADDRESSES, VALIDATE_IMAGE_URL_REDIRECTS、その他）は、 セルフホストサーバーの保護 および 受け入れ可能な入力形式.