Offline Mode

Roboflow Enterprise の顧客はオフラインでモデルをデプロイできます。

Roboflow Enterpriseの顧客がオフラインモードを利用するには、当社のDockerコンテナを使用する必要があります。

Roboflow Enterpriseの顧客は、Roboflow Inference（当社のオンデバイス推論サーバー）を設定して、最大30日間ウェイトをキャッシュできます。

これにより、モデルを完全にエアギャップ環境やインターネット接続が容易に利用できない場所でも実行できます。

モデルをオフラインで実行するには、以下の手順が必要です：

1. Dockerボリュームを作成し、 /tmp/cache Inference Server上にアタッチします。

2. DockerでRoboflow Inferenceサーバーを起動します。

3. サーバーを介してモデルにリクエストを送信すると、モデルウェイトのダウンロードとキャッシュプロセスが開始されます。このステップにはインターネット接続が必要です。

ウェイトがキャッシュされたら、ローカルで使用できます。

以下に、CPUからGPUまでさまざまなデバイスでモデルをオフライン実行する方法の手順を示します。

CPU

画像： roboflow / roboflow-inference-server-cpu

sudo docker volume create roboflow
sudo docker run --net=host --env LICENSE_SERVER=10.0.1.1 --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-cpu

GPU

GPUコンテナを使用するには、まず nvidia-container-runtime.

画像： roboflow / roboflow-inference-server-gpu

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --gpus all --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-gpu

Jetson 4.5

Jetson Jetpack 4.5にはすでに https://github.com/NVIDIA/nvidia-container-runtime がインストールされています。

画像： roboflow/roboflow-inference-server-jetson-4.5.0

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.5.0

Jetson 4.6

Jetson Jetpack 4.6にはすでに https://github.com/NVIDIA/nvidia-container-runtime がインストールされています。

画像： roboflow/roboflow-inference-server-jetson-4.6.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.6.1

Jetson 5.1

Jetson Jetpack 5.1にはすでに https://github.com/NVIDIA/nvidia-container-runtime がインストールされています。

画像： roboflow/roboflow-inference-server-jetson-5.1.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-5.1.1

推論の実行

Inferenceサーバーがローカルキャッシュでセットアップされていれば、インターネット接続なしで画像やビデオフレーム上でモデルを実行できます。

「Predict on an Image Over HTTP」Inferenceドキュメントを参照して、モデルの実行方法を確認してください。

Inference結果

ウェイトはインターネット経由でRoboflowアカウントから（設定していればLicense Server経由で）SSL暗号化されて読み込まれ、最大30日間Dockerボリュームに安全に保存されます。

推論結果には新しい expiration キーが含まれ、Inference ServerがインターネットまたはLicense Server接続を介してウェイトのリースを更新するまで、どれくらい予測を提供し続けられるかを判断できます。ウェイトの有効期限が7日未満になると、Inference ServerはRoboflow APIへの接続が成功するまで、1時間ごとにウェイトのリース更新を試みます。

リースが更新されると、カウンターは30日にリセットされます。

{
    "predictions": [
        {
            "x": 340.9,
            "y": 263.6,
            "width": 284,
            "height": 360,
            "class": "example",
            "confidence": 0.867
        }
    ],
    "expiration": {
        "value": 29.91251408564815,
        "unit": "days"
    }
}

モデルのオフラインデプロイについて質問がある場合は、Roboflow担当者にお問い合わせください。