Inference Server をインストール

Linux、Windows、macOS、NVIDIA Jetson、Raspberry Pi、または独自のクラウド上で、Docker もしくはネイティブのデスクトップアプリを使って Roboflow Inference Server をインストールします。

ご利用のプラットフォームに合ったインストール方法を選択してください。すべての方法でサーバーはポートで起動します 9001.

Docker（推奨）

Inference を実行するには Docker が推奨です（参照 Docker が推奨される理由）。Linux、macOS、Windows、Jetson、その他 Docker 対応デバイスで動作します。

Docker をインストール 先に（加えて NVIDIA Container Toolkit CUDA 対応 GPU をお持ちの場合は）、その後インストールして実行してください Inference CLI:

pip install inference-cli && inference server start

これにより、マシンに最適なコンテナが自動的に選択・設定されます。

Windows（ネイティブアプリ）

ネイティブのデスクトップアプリを使用して、Docker 不要で Windows 上に Inference Server を実行できます。

1. 最新のインストーラーをダウンロード ダウンロードして実行します。

2. インストールが完了すると、Inference Server を起動するかどうかが表示されます。

3. サーバーを停止するには、開いたターミナルウィンドウを閉じてください。

4. 後で再度起動するには、を見つけてください Roboflow Inference スタート メニュー内で。

参照: Windows にインストール 詳細と Docker の代替手段については。

macOS（ネイティブアプリ）

ネイティブのデスクトップアプリを使用して、Docker 不要で Apple Silicon Mac 上で Inference Server を実行できます。

1. DMG をダウンロード そして開きます。

2. Roboflow Inferenceアプリを「アプリケーション」フォルダへドラッグします。

3. Applications 内のアプリをダブルクリックしてサーバーを起動します。

参照: Mac にインストール 詳細、Docker の代替手段、および MPS アクセラレーションについて。

要件

Inference はマシンに適応し、より高性能なハードウェアではより高速に動作します。最低要件は 64 ビットプロセッサ、4 GB の RAM、20 GB の空きディスク容量です。 Docker 上記のコンテナ手順には必要です。

対象	ハードウェア	OS	Docker イメージ
CPU	64 ビット CPU、4 GB RAM、20 GB の空きディスク。大規模モデル（例: SAM2）は実用には遅すぎる場合があります。	Linux、macOS、または WSL 2 を備えた Windows 10/11	roboflow/roboflow-inference-server-cpu
GPU	の CUDA 対応 NVIDIA GPU と NVIDIA Container Toolkit がインストール済み。大きなモデルやライブ映像に推奨されます。	Linux（または WSL 2 を備えた Windows 10/11）	roboflow/roboflow-inference-server-gpu
NVIDIA Jetson	Jetson Orin デバイス（Orin NX 16 GB 以上を推奨）で、JetPack 4.5、4.6、5.x、または 6.x を実行しているもの。イメージ用に約 10 GB の空きディスクを確保してください。	JetPack / L4T	roboflow/roboflow-inference-server-jetson-* （JetPack 固有、自動選択）

参照: 最小要件 対応および推奨デバイスの完全な一覧については。

デバイス別ガイド

デバイスごとの特別なインストール注意事項とパフォーマンス向上のヒント:

• Linux

• Windows

• Mac

• NVIDIA Jetson

• Raspberry Pi

• その他のデバイス

• 自分のクラウドにデプロイ - AWS、Azure、または GCP

どうしても Docker を実行できない場合は、 Inference Library サーバーの代わりに自分の Python プロセス内でモデルを実行します。

コンテナを自分で実行する

通常、イメージを手動で選ぶ必要はありません: inference server start お使いのハードウェアを検出し、実行します docker run 推奨のセキュリティ設定、キャッシュ、プラットフォーム固有のオプションを適用して自動で行います。自分でコンテナを管理したい場合は、CPU 専用ホストでは CPU イメージを、または GPU イメージを --gpus all CUDA ホスト上で使用してください。

CPU

sudo docker run -d \\
    --name inference-server \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-cpu:latest

GPU

次をインストールします。 NVIDIA Container Toolkit まず、次に追加します --gpus all:

sudo docker run -d \\
    --name inference-server \\
    --gpus all \
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-gpu:latest

ご利用のプラットフォームのガイドには、そのデバイス用の正確なフラグを記載した「コンテナを手動で起動する」セクションがあります。

更新

Docker イメージのデフォルトは :latest タグです。最新のサーバーに移行するには、最新イメージを pull するか、再度 inference server startを実行すると、自動で取得されます:

docker pull roboflow/roboflow-inference-server-gpu:latest

再現性のあるデプロイには、 特定のバージョンタグを固定し ではなく :latest そのため、更新によって動作が予期せず変わることがないようにします。たとえば roboflow/roboflow-inference-server-gpu:<version>。利用可能なタグは Docker Hubで確認し、固定したタグを更新して意図的にアップデートしてください。

サーバーの保護

セルフホスト型サーバーは、デフォルトでは認証、暗号化、ネットワーク制限を強制しないため、保護はあなたの責任です。ローカル開発トラフィック以外に公開する前に、確認してください セルフホスト型サーバーのセキュリティ保護.

新しいサーバーの使い方

サーバーが起動したら、以下を通じて呼び出します その HTTP API または Inference SDK。「 モデルを実行する 最初のリクエストに、そして Dockerの設定オプション コンテナの調整に。

エンタープライズ向けの考慮事項

Helm チャート は、エンタープライズクラウドへのデプロイで利用可能であり、OT ネットワークでのデプロイに対応するエンタープライズ向けネットワーキングソリューションもリクエストに応じて利用できます。

Roboflow は、カスタマイズされたサポートとインストールパッケージも提供しており 事前設定済みの Jetson ベースのエッジデバイス も販売しており、迅速なプロトタイピングに適しています。 営業チームにお問い合わせください 大規模組織の一員で、詳細を知りたい場合は、をご覧ください。 エンタープライズデプロイ 完全な機能セットについては。