Offline Mode

Roboflow Enterprise のお客様は、モデルをオフラインでデプロイできます。

Roboflow Enterprise のお客様が Offline Mode を使用するには、当社の Docker コンテナを使う必要があります。

Roboflow Enterprise のお客様は、オンデバイス推論サーバーである Roboflow Inference を、重みを最大 30 日間キャッシュするように構成できます。

これにより、モデルを完全に air-gapped で実行したり、インターネット接続がすぐに利用できない場所で実行したりできます。

モデルをオフラインで実行するには、次のことが必要です:

1. Docker ボリュームを作成して接続する /tmp/cache あなたの Inference Server 上の

2. Docker で Roboflow Inference サーバーを起動します。

3. サーバー経由でモデルにリクエストを送信すると、モデルの重みのダウンロードとキャッシュの処理が開始されます。この手順にはインターネット接続が必要です。

重みがキャッシュされたら、ローカルで使用できます。

以下では、CPU から GPU まで、さまざまなデバイスタイプでモデルをオフライン実行する方法を説明します。

CPU

画像: roboflow / roboflow-inference-server-cpu

sudo docker volume create roboflow
sudo docker run --net=host --env LICENSE_SERVER=10.0.1.1 --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-cpu

GPU

GPU コンテナを使用するには、まず nvidia-container-runtime.

画像: roboflow / roboflow-inference-server-gpu

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --gpus all --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-gpu

Jetson 4.5

お使いの Jetson Jetpack 4.5 にはすでに https://github.com/NVIDIA/nvidia-container-runtime が

画像: roboflow/roboflow-inference-server-jetson-4.5.0

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.5.0

Jetson 4.6

お使いの Jetson Jetpack 4.6 にはすでに https://github.com/NVIDIA/nvidia-container-runtime が

画像: roboflow/roboflow-inference-server-jetson-4.6.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.6.1

Jetson 5.1

お使いの Jetson Jetpack 5.1 にはすでに https://github.com/NVIDIA/nvidia-container-runtime が

画像: roboflow/roboflow-inference-server-jetson-5.1.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-5.1.1

Inference の実行

ローカルキャッシュで設定した Inference サーバーがあれば、インターネット接続なしで画像や動画フレーム上でモデルを実行できます。

次を参照してください: "HTTP 経由で画像を予測する" Inference のドキュメントを参照して、モデルの実行方法を確認してください。

Inference 結果

重みは、インターネット経由であなたの Roboflow アカウントから（License Server を設定している場合は License Server 経由で）SSL 暗号化を使用して読み込まれ、Docker ボリューム内に最大 30 日間安全に保存されます。

推論結果には新しい expiration キーが含まれます。このキーを使って、インターネットまたは License Server への接続を介して重みのライセンスを更新するまで、Inference Server がどれだけ予測を提供し続けられるかを判断できます。重みの有効期限が 7 日未満になると、Inference Server は Roboflow API への接続に成功するまで、1 時間ごとに重みのライセンス更新を試行し始めます。

ライセンスが更新されると、カウンターは 30 日にリセットされます。

{
    "predictions": [
        {
            "x": 340.9,
            "y": 263.6,
            "width": 284,
            "height": 360,
            "class": "example",
            "confidence": 0.867
        }
    ],
    "expiration": {
        "value": 29.91251408564815,
        "unit": "days"
    }
}

モデルのオフライン展開について質問がある場合は、ガイダンスについて Roboflow の担当者にお問い合わせください。