For the complete documentation index, see llms.txt. This page is also available as Markdown.

Docker の構成オプション

self-hosted の Roboflow Inference コンテナーを構成します - ネットワーク、CORS、NMS のデフォルト、モデルキャッシュ、ワーカー、HTTPS、Secure Gateway。

推論サーバーには、環境変数で設定するいくつかの構成パラメータがあります。環境変数を設定するには docker run-e フラグを使用します:

docker run -it --rm -e ENV_VAR_NAME=env_var_value -p 127.0.0.1:9001:9001 --gpus all roboflow/roboflow-inference-server-gpu:latest

このページでは、変更する可能性が高いオプションを扱います。完全な一覧については、 環境変数.

ネットワーキング

HOST: 文字列(デフォルト 0.0.0.0)。コンテナ内のインターフェースを選択します。公開ポートがサーバーに到達できるよう、Docker ブリッジネットワークではこの値を保持してください。

ホスト側のマッピングを使用する -p 127.0.0.1:9001:9001 ローカルのみのアクセスには、または意図的に LAN インターフェースを選択します。CLI の --bind-address がそのマッピングを制御します。macOS と Windows のデスクトップバンドルでは代わりに HOST、デフォルトは 127.0.0.1です。参照: ネットワークアクセス Jetson とトンネルの例外について。

PORT: 整数(デフォルト 9001)。HTTP インターフェースで使用するポートを設定します。

ALLOW_ORIGINS: 文字列(デフォルト *)。を設定します allow_origins プロパティを、HTTP インターフェースで FastAPI とともに使用される CORS ミドルウェアに設定します。複数の値はカンマで区切って指定できます。たとえば ALLOW_ORIGINS=orig1.com,orig2.com.

推論動作

CLASS_AGNOSTIC_NMS: ブール値(デフォルト False)。検出モデル(物体検出、インスタンスセグメンテーションなど)に対する既定の非最大抑制(NMS)の動作を設定します。 True、NMS はクラス非依存となり、異なるクラスの重複する検出は IoU しきい値に基づいて削除される場合があります。 False、同じクラスの重複する検出のみが削除対象として考慮されます。

MAX_CANDIDATES: 整数(デフォルト 3000)。検出の候補数の上限。

MAX_DETECTIONS: 整数(デフォルト 300)。モデルが返す検出数の上限。

FIX_BATCH_SIZE: ブール値(デフォルト False)。有効にすると True、バッチサイズはこのサーバーに構成された最大バッチサイズに固定されます。

MAX_ACTIVE_MODELS: 整数(デフォルト 8)。内部モデルマネージャーが一度にメモリ上に保持するモデル数の上限。デフォルトでは、新しいモデルのための空き領域を作る際に、モデルキューは最も最近アクセスされていないモデルを削除します。

NUM_WORKERS: 整数(デフォルト 1)。HTTP インターフェースで使用するワーカー数。

CLIP モデルのオプション

CLIP_VERSION_ID: 文字列(デフォルト ViT-B-16)。すべての /clip ルートで使用される OpenAI CLIP のバージョンを設定します。利用可能なバージョンは RN101, RN50, RN50x16, RN50x4, RN50x64, ViT-B-16, ViT-B-32, ViT-L-14-336px、および ViT-L-14.

CLIP_MAX_BATCH_SIZE: 整数(デフォルト 8)。CLIP モデルの推論関数が受け付ける最大バッチサイズを設定します。

モデルキャッシュ

MODEL_CACHE_DIR: 文字列(デフォルト /tmp/cache)。ルートのモデルキャッシュディレクトリのコンテナ内パスを設定します。

TENSORRT_CACHE_PATH: 文字列(デフォルト: の値 MODEL_CACHE_DIR)。コンテナ内の TensorRT キャッシュディレクトリへのパスを設定します。このパスをマウントしたホストボリュームと併用すると、TensorRT ベースのサーバーのコールドスタート時間を短縮できます。

永続的なモデルキャッシュ

既定では、モデルの重みはコンテナ内の /tmp/cache に保存され、 コンテナ再起動またはシステム再起動時に失われます。本番環境では、ダウンロード済みの重みを保持するために永続的なホストボリュームをマウントします:

留意点:

  • ホスト側のパスは永続ストレージ上に置くべきであり、 /tmp.

  • 内に置かないでください。マウントされたディレクトリには、コンテナのユーザーに適切な権限が必要です(通常は UID 1000 または root。イメージによって異なります)。

  • 永続キャッシュを使うと、デプロイ前に重みをあらかじめ配置でき、コンテナ更新後も保持されます。

参照 オフラインでの重みダウンロード 重みの事前ダウンロードとキャッシュについて詳しくは

HTTPS / TLS

ENABLE_HTTPS: ブール値(デフォルト False)。設定すると、Inference Server は HTTP ではなく HTTPS でトラフィックを提供し、証明書と秘密鍵を SSL_CERTFILESSL_KEYFILE.

SSL_CERTFILE: 文字列(デフォルト /etc/inference/certs/server.crt)と SSL_KEYFILE: 文字列(デフォルト /etc/inference/certs/server.key)。コンテナ内の PEM エンコードされた証明書と秘密鍵へのパスです。既定値は便利なマウント先なので、通常は証明書と鍵を /etc/inference/certs/ にバインドし、 ENABLE_HTTPS=true.

SSL_KEYFILE_PASSWORD: 文字列(任意)。暗号化された秘密鍵のパスフレーズを Uvicorn ランチャーに渡します。並列 Gunicorn ランチャーはこれをサポートしていません。

SSL_CA_CERTS: 文字列(任意)。HTTPS が有効なときの mTLS 用クライアント CA バンドルを渡します。参照: HTTPS の設定 適用と公開範囲について。

自己署名証明書を使った完全な手順: HTTPS で Inference を提供する.

Secure Gateway

SECURE_GATEWAY: 文字列(既定値未設定)。プロキシのアドレスを設定します Roboflow Secure Gateway エアギャップ環境向けのプロキシ。Roboflow API とモデルダウンロードのトラフィックはこのプロキシ経由でルーティングされます。プロキシできないトラフィックは、次のように無効化または再ルーティングされます:

  • Inference のバージョンチェック( api.github.comに問い合わせる)は強制的に無効化されます: DISABLE_VERSION_CHECK は設定されます True たとえ明示的に別の設定がされていても。

  • If WORKFLOWS_STEP_EXECUTION_MODE=remoteWORKFLOWS_REMOTE_API_TARGET=hostedと組み合わされると、ステップ実行は local にフォールバックし、警告が表示されます。これは、ホスト型の Roboflow 推論エンドポイントがゲートウェイプロキシ経由では到達できないためです。リモート実行を維持するには、 WORKFLOWS_REMOTE_API_TARGET=self-hosted を指す LOCAL_INFERENCE_API_URL (デフォルト http://127.0.0.1:9001)をゲートウェイ境界内から到達可能な Inference サーバーに設定してください。

  • サードパーティ統合(Google Vision と Gemini の直接キー経路、Stability AI、Twilio のメディアアップロード、外部ホストへの webhook)はプロキシされず、ゲートウェイネットワークで許可されていない限り失敗します。

明示的な HTTPS ゲートウェイ URL を使用してください。たとえば SECURE_GATEWAY=https://gateway.example.com、そしてゲートウェイ証明書を信頼してください。保留中のランタイム強化ビルドでは、プレーンなアドレスを HTTPS に変更し、ループバック以外の平文ゲートウェイを拒否します。参照: 移行範囲.

旧来の LICENSE_SERVER 環境変数は引き続き受け付けられますが、非推奨です。

最終更新

役に立ちましたか?