設定

self-hosted の Roboflow Inference サーバーを構成、保護、監視します - コンテナオプション、環境変数、HTTPS、入力形式、メトリクス。

Inference Server は次で起動されました inference server start Jetson イメージとトンネル起動を除き、既定ではホストのループバック上でポート 9001 を公開します。カスタム Python は引き続きローカルで利用でき、認証はオプトインです。次で始めます サーバーのセキュリティ を選択して、誰がサーバーに接続できるかを決め、その後アプリケーションに必要な機能を設定します。

最初のモデルを実行するために、これらは一切必要ありません。サーバーを他のマシンに公開したいとき、本番環境で実行したいとき、リソース使用量を固定したいとき、または負荷時の挙動を監視したいときに、ここに戻ってきてください。

コンテナを調整する

• Docker 設定オプション - ポート、CORS、ワーカー数、NMS の既定値、モデルキャッシュ、および Secure Gateway。

• Inference Server の環境変数: よく使われる変数を、領域ごとにグループ化したもの。

• ビデオ設定: 管理対象パイプラインの制限、ウォームワーカー、メディア参照。

サーバーを堅牢化する

• セルフホストサーバーの保護: ローカルの既定値、ネットワークアクセス、認証、および可観測性。

• セキュリティ設定の移行: リリース範囲、変更された既定値、およびアップグレード時の操作。

• モデルパッケージのセキュリティ: モデルごとの認可、ローカルパッケージ、およびパッケージの信頼性。

• HTTPS で Inference を提供する - 独自の証明書で TLS を終端し、暗号化された鍵を使用し、相互 TLS を必須にします。

• 受け入れ可能な入力形式 - サーバーが受け入れるペイロードの種類、および pickle 化された NumPy 配列や URL 画像取得など、よりリスクの高いものを無効にする方法。

実際の動作を確認する

• Inference Server のテレメトリ - 実行中のサーバーの Prometheus メトリクスと Docker コンテナ統計。

の設定 Inference CLI と SDK は、サーバーの設定とは別です。これらのページの変数は、コンテナ内のサーバープロセスによって読み取られます。