オフラインモード

Roboflow Enterprise の顧客はオフラインでモデルをデプロイできます。

Roboflow Enterprise の顧客向けのオフラインモードを利用するには、当社の Docker コンテナを使用する必要があります。

Roboflow Enterprise の顧客は、オンデバイス推論サーバーである Roboflow Inference を構成して、重み（weights）を最大30日間キャッシュするように設定できます。

これにより、完全にエアギャップされた環境やインターネット接続が容易に利用できない場所でモデルを実行できます。

モデルをオフラインで実行するには、次のことが必要です：

1. Docker ボリュームを作成して次にアタッチします /tmp/cache Inference サーバー上に。

2. Roboflow Inference サーバーを Docker で起動します。

3. サーバー経由でモデルにリクエストを行い、モデル重みのダウンロードとキャッシュ処理を開始します。この手順にはインターネット接続が必要です。

一度重みがキャッシュされると、それらをローカルで使用できます。

以下に、CPU から GPU までさまざまなデバイスタイプでモデルをオフライン実行する方法を示します。

CPU

Image: roboflow / roboflow-inference-server-cpu

キャッシュボリュームを使用している場合は、クリアしてください:
sudo docker run --net=host --env LICENSE_SERVER=10.0.1.1 --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-cpu

GPU

GPU コンテナを使用するには、事前に次をインストールする必要があります nvidia-container-runtime.

Image: roboflow / roboflow-inference-server-gpu

キャッシュボリュームを使用している場合は、クリアしてください:
docker run -it --rm -p 9001:9001 --gpus all --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-gpu

Jetson 4.5

Jetson Jetpack 4.5 には既に次が含まれています https://github.com/NVIDIA/nvidia-container-runtime がインストールされています。

Image: roboflow/roboflow-inference-server-jetson-4.5.0

キャッシュボリュームを使用している場合は、クリアしてください:
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.5.0

Jetson 4.6

Jetson Jetpack 4.6 には既に次が含まれています https://github.com/NVIDIA/nvidia-container-runtime がインストールされています。

Image: roboflow/roboflow-inference-server-jetson-4.6.1

キャッシュボリュームを使用している場合は、クリアしてください:
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.6.1

Jetson 5.1

Jetson Jetpack 5.1 には既に次が含まれています https://github.com/NVIDIA/nvidia-container-runtime がインストールされています。

Image: roboflow/roboflow-inference-server-jetson-5.1.1

キャッシュボリュームを使用している場合は、クリアしてください:
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-5.1.1

docker-compose up

ローカルキャッシュを有効にした Inference サーバーをセットアップすれば、インターネット接続なしで画像やビデオフレーム上でモデルを実行できます。

「Predict on an Image Over HTTP」の Inference ドキュメントを参照して、モデルの実行方法を確認してください。

推論結果

重みは（ライセンスサーバーを設定している場合はライセンスサーバー経由で）インターネット経由であなたの Roboflow アカウントから SSL 暗号化で読み込まれ、Docker ボリューム内に安全に最大30日間保存されます。

推論結果には新しい expiration キーが含まれ、これを使用して Inference Server が重みのリースをインターネットまたはライセンスサーバー接続で更新するまで予測を提供できる期間を判定できます。重みの有効期限が7日を下回ると、Inference Server は Roboflow API への接続が成功するまで毎時1回リースの更新を試み始めます。

リースが更新されると、カウンターは30日にリセットされます。

{
    "predictions": [
        {
            "x": 340.9,
            "y": 263.6,
            "width": 284,
            "height": 360,
            "class": "example",
            "confidence": 0.867
        }
    ],
    "expiration": {
        "value": 29.91251408564815,
        "unit": "days"
    }
}

モデルをオフラインでデプロイすることについて質問がある場合は、ガイダンスのために担当の Roboflow 担当者にお問い合わせください。