Linux にインストール

CPU、GPU、または TensorRT 上で、Inference CLI、Docker、または Docker Compose を使って Linux に Roboflow Inference Server をインストールし、実行します。

このページの Docker の例では、ポート 9001 を localhost に公開しています。別のマシン上のクライアントの場合は、意図的にマッピングを到達可能なホストアドレスに変更し、設定してください サーバーアクセス.

マシンに適したコンテナを、適切なデフォルト設定（キャッシュボリュームと、安全な非特権実行モード）で起動する最も簡単な方法は、CLI に選ばせて次を使って起動することです inference server start. まず Docker をインストールし まず:

pip install inference-cli
inference server start

コンテナを手動で起動する

コンテナ設定をより細かく制御したい場合は、自分で起動してください。

CPU

コアの CPU Docker イメージには、onnxruntime 経由で x64 CPU 上の OpenVINO アクセラレーションのサポートが含まれています。SAM2 のような重いモデルは実用的ではないほど遅く（画像1枚あたり数十秒）動作する場合があります。必要であれば、CUDA 対応 GPU を使用してください。

CPU 推論の主な用途は、静止画像の処理（たとえばアップロードされたものの NSFW 判定や文書検証）や、動画フレームの散発的なサンプリング（たとえば駐車場の占有状況の追跡）です。

CPU 推論を始めるには、 roboflow/roboflow-inference-server-cpu:latest コンテナを使用します。

sudo docker run -d \\
    --name inference-server \\
    --read-only \\
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-cpu:latest

GPU

GPU コンテナは、NVIDIA-Docker を介して CUDA をサポートするカードにハードウェアアクセラレーションを追加します。以下の NVIDIA Container Toolkit のインストールガイドことを確認し、その後 --gpus all を docker run コマンドを追加します:

sudo docker run -d \\
    --name inference-server \\
    --gpus all \
    --read-only \\
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-gpu:latest

TensorRT

GPU コンテナでは、必要に応じて TensorRTを有効にできます。これは NVIDIA のモデル最適化ランタイムです。各モデルを初めて読み込む際に重いコンパイルと最適化のステップ（場合によっては 15 分以上）が発生しますが、その代わりモデルの速度が大幅に向上します。

次を追加して TensorRT を有効にします。 TensorrtExecutionProvider を ONNXRUNTIME_EXECUTION_PROVIDERS 環境変数を有効にできます。

sudo docker run -d \\
    --name inference-server \\
    --gpus all \
    --read-only \\
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,OpenVINOExecutionProvider,CPUExecutionProvider]" \\
    roboflow/roboflow-inference-server-gpu:latest

Docker Compose

アプリケーションで Docker Compose を使用している場合、同等の YAML は次のとおりです:

CPU

version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-cpu:latest

    read_only: true
    ports:
      - "127.0.0.1:9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE

GPU

version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-gpu:latest

    read_only: true
    ports:
      - "127.0.0.1:9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE

TensorRT

version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-gpu:latest

    read_only: true
    ports:
      - "127.0.0.1:9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

    environment:
      ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,OpenVINOExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE

Roboflow Enterprise プランには Kubernetes デプロイメント用の Helm チャート Kubernetes デプロイメント、OT ネットワーク向けのネットワーキングソリューション、カスタマイズされたサポートおよびインストールパッケージ向けです。 営業チームにお問い合わせください 詳細をご確認ください。

次の手順

• モデルを実行する 新しいサーバーに対して。

• Docker の設定オプション ポート、キャッシュ、モデルの上限について。

• セルフホストサーバーの保護 localhost の外に公開する前に。