Inference Server のテレメトリ

Prometheus メトリクスと Docker コンテナー統計を使って、セルフホストの Roboflow Inference サーバーを監視します。

サービスのテレメトリは、システムの健全性、パフォーマンス、使用状況に関するリアルタイムデータを提供します。これにより次が可能になります:

• 監視と診断: 問題を早期に検出し、迅速に解決できます。

• パフォーマンスの最適化: ボトルネックを特定して効率を向上させます。

• 使用状況のインサイト: ユーザー行動を理解し、改善の指針にします。

• セキュリティ: 不審なアクティビティを検出し、コンプライアンスを確保します。

• スケーラビリティ: リソース需要を予測し、管理します。

Inferenceサーバーは2つのテレメトリソースを公開します:

• Prometheus メトリクス

• Dockerデーモンによって提供されるDockerコンテナのメトリクス

Prometheusメトリクス

メトリクスを有効にするには、環境変数を設定します ENABLE_PROMETHEUS=True コンテナで:

docker run -p 9001:9001 -e ENABLE_PROMETHEUS=True roboflow/roboflow-inference-server-cpu

次に GET /metrics エンドポイントを使用して、Pythonでメトリクスを取得します:

import requests

result = requests.get("http://127.0.0.1:9001/metrics")
result.raise_for_status()

print(result.text)

またはcurlで:

curl http://127.0.0.1:9001/metrics

/metrics は、 APIキー認証 が有効になっている場合でも認証なしのままになるエンドポイントの一つです。そのため、メトリクスが機密情報である場合はサーバーへのネットワークアクセスを制限してください。

Dockerコンテナのメトリクス

セキュリティ上の懸念があります。 この機能は、コンテナ内でDockerデーモンソケットを公開することに依存しています。これにより、監視サービスを必要とせずにコンテナのリソース使用量メトリクスを公開できますが、セキュリティ上の違反と見なされる可能性があります。デフォルトでは無効です。 潜在的なセキュリティリスク を有効にする前に理解してください。

コンテナのメトリクスを公開するには、Dockerソケットをマウントした状態でInferenceサーバーコンテナを実行します:

docker run -p 9001:9001 \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -e DOCKER_SOCKET_PATH=/var/run/docker.sock \
  roboflow/roboflow-inference-server-cpu

• 次の -v 行 は ホスト上のDockerデーモンソケット（通常は /var/run/docker.sockですが、環境を確認してください）をコンテナにマウントします。ここでも /var/run/docker.sock.

• 次の -e 行は次を設定します DOCKER_SOCKET_PATH Dockerデーモンソケットの場所に コンテナ内で、上記のマウントと一致するようにします。

その後、次にアクセスできます GET /device/stats エンドポイントをcurlで:

curl http://127.0.0.1:9001/device/stats

またはPythonで:

import requests

result = requests.get("http://127.0.0.1:9001/device/stats")
result.raise_for_status()

print(result.json())

モデルレベルのモニタリング

デプロイ全体にわたる予測レベルのモニタリング（ホストのテレメトリではなく）については、 モデルモニタリング。これはセルフホスト型サーバー上で次の METRICS_ENABLED および MODEL_MONITORING_CACHE_BACKEND 環境変数.