オフラインモード

Roboflow Enterprise のお客様はモデルをオフラインでデプロイできます。

Roboflow Enterprise のオフラインモードを利用するには、当社の Docker コンテナを使用する必要があります。

Roboflow Enterprise のお客様は、オンデバイス推論サーバーである Roboflow Inference を構成して、重みを最大 30 日間キャッシュするようにできます。

これにより、モデルを完全にエアギャップ化された環境やインターネット接続が容易に得られない場所で実行できるようになります。

モデルをオフラインで実行するには、次の操作が必要です：

1. Docker ボリュームを作成して、次にアタッチする /tmp/cache お使いの Inference サーバー上で。

2. Docker で Roboflow Inference サーバーを起動します。

3. サーバー経由でモデルにリクエストを行い、モデル重みのダウンロードとキャッシュプロセスを開始します。この手順にはインターネット接続が必要です。

一度重みがキャッシュされると、ローカルでそれらを使用できます。

以下に、CPU から GPU までのさまざまなデバイスタイプでモデルをオフラインで実行する方法の手順を示します。

CPU

Image: roboflow / roboflow-inference-server-cpu

sudo docker volume create roboflow
sudo docker run --net=host --env LICENSE_SERVER=10.0.1.1 --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-cpu

GPU

GPU コンテナを使用するには、まず次をインストールする必要があります nvidia-container-runtime.

Image: roboflow / roboflow-inference-server-gpu

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --gpus all --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-gpu

Jetson 4.5

Jetson Jetpack 4.5 には既に次が含まれています、 https://github.com/NVIDIA/nvidia-container-runtime がインストールされています。

Image: roboflow/roboflow-inference-server-jetson-4.5.0

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.5.0

Jetson 4.6

Jetson Jetpack 4.6 には既に次が含まれています、 https://github.com/NVIDIA/nvidia-container-runtime がインストールされています。

Image: roboflow/roboflow-inference-server-jetson-4.6.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.6.1

Jetson 5.1

Jetson Jetpack 5.1 には既に次が含まれています、 https://github.com/NVIDIA/nvidia-container-runtime がインストールされています。

Image: roboflow/roboflow-inference-server-jetson-5.1.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-5.1.1

推論の実行

ローカルキャッシュを有効にした Inference サーバーが設定されていれば、インターネット接続なしで画像やビデオフレーム上でモデルを実行できます。

次のPredict on an Image Over HTTP」の Inference ドキュメントを参照して、モデルの実行方法についてのガイダンスを得てください。

推論結果

重みは SSL 暗号化を介して（構成している場合は License Server 経由で）お客様の Roboflow アカウントからインターネット経由でロードされ、Docker ボリュームに最大 30 日間安全に保存されます。

推論結果には新しい expiration キーが含まれ、これは Inference Server がインターネットまたは License Server 接続を介して重みのリースを更新する前に、どれくらいの期間予測を提供できるかを判断するために使用できます。重みの有効期限が 7 日未満になると、Inference Server は Roboflow API への接続が成功するまで、1 時間に一度リースの更新を試み始めます。

リースが更新されると、カウントは 30 日にリセットされます。

{
    "predictions": [
        {
            "x": 340.9,
            "y": 263.6,
            "width": 284,
            "height": 360,
            "class": "example",
            "confidence": 0.867
        }
    ],
    "expiration": {
        "value": 29.91251408564815,
        "unit": "days"
    }
}

モデルをオフラインにデプロイすることについて質問がある場合は、ガイダンスのために Roboflow の担当者にお問い合わせください。