オフラインモード

Roboflowエンタープライズ顧客はオフラインでモデルをデプロイできます。

Roboflow Enterpriseの顧客がオフラインモードを利用するには、当社のDockerコンテナを使用する必要があります。

Roboflow Enterpriseの顧客は、当社のオンデバイス推論サーバーであるRoboflow Inferenceを設定して、最大30日間ウェイトをキャッシュすることができます。

これにより、モデルを完全にエアギャップ環境やインターネット接続が容易に利用できない場所でも実行できます。

モデルをオフラインで実行するには、以下の手順が必要です：

1. Dockerボリュームを作成し、 /tmp/cache を推論サーバーにアタッチします。

2. DockerでRoboflow Inferenceサーバーを起動します。

3. サーバーを通じてモデルにリクエストを送り、モデルウェイトのダウンロードとキャッシュプロセスを開始します。このステップにはインターネット接続が必要です。

ウェイトがキャッシュされたら、それらをローカルで使用できます。

以下では、CPUからGPUまで様々なデバイスタイプでモデルをオフライン実行する方法を案内します。

CPU

画像： roboflow / roboflow-inference-server-cpu

sudo docker volume create roboflow
sudo docker run --net=host --env LICENSE_SERVER=10.0.1.1 --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-cpu

GPU

GPUコンテナを使用するには、まず nvidia-container-runtime.

画像： roboflow / roboflow-inference-server-gpu

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --gpus all --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-gpu

Jetson 4.5

お使いのJetson Jetpack 4.5にはすでに https://github.com/NVIDIA/nvidia-container-runtime がインストールされています。

画像： roboflow/roboflow-inference-server-jetson-4.5.0

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.5.0

Jetson 4.6

お使いのJetson Jetpack 4.6にはすでに https://github.com/NVIDIA/nvidia-container-runtime がインストールされています。

画像： roboflow/roboflow-inference-server-jetson-4.6.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.6.1

Jetson 5.1

お使いのJetson Jetpack 5.1にはすでに https://github.com/NVIDIA/nvidia-container-runtime がインストールされています。

画像： roboflow/roboflow-inference-server-jetson-5.1.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-5.1.1

推論の実行

ローカルキャッシュを設定した推論サーバーがあれば、インターネット接続なしで画像やビデオフレーム上でモデルを実行できます。

「HTTP経由で画像を予測する」推論ドキュメントを参照して、モデルの実行方法を確認してください。

推論結果

ウェイトはインターネット経由（設定していればライセンスサーバー経由）でRoboflowアカウントからSSL暗号化で読み込まれ、最大30日間Dockerボリュームに安全に保存されます。

推論結果には新しい 有効期限 キーが含まれており、インターネットまたはライセンスサーバー接続を介してウェイトのリースを更新する前に、推論サーバーがどれくらいの期間予測を提供し続けられるかを判断できます。ウェイトの有効期限が7日未満になると、推論サーバーはRoboflow APIへの接続が成功するまで、1時間ごとにウェイトのリース更新を試みます。

リースが更新されると、カウンターは30日にリセットされます。

{
    "predictions": [
        {
            "x": 340.9,
            "y": 263.6,
            "width": 284,
            "height": 360,
            "class": "example",
            "confidence": 0.867
        }
    ],
    "expiration": {
        "value": 29.91251408564815,
        "unit": "days"
    }
}

モデルのオフライン展開について質問がある場合は、Roboflowの担当者にお問い合わせください。