セルフホスト型デプロイメント

オープンソースのコンピュータービジョンデプロイフレームワークである Inference を使って、自分のハードウェア上で Roboflow のモデルと Workflow を実行します。

推論 は、オープンソースのコンピュータビジョン展開ハブです。モデルと Workflow を提供し、動画ストリームを管理し、CPU と GPU 向けに推論を最適化します。ローカル処理、レイテンシーやリソースの制御、またはオフライン展開が必要な場合はセルフホストしてください。Apache 2.0 ライセンスのコアは、Roboflow のホスト型 API も支えています。

セルフホスティングとは、自分でインフラを管理することを意味します。サーバーの運用を Roboflow に任せたい場合は、 専用デプロイメント または Serverless Cloud APIおよび オプションの比較.

パスを選ぶ

自分のハードウェアでモデルを実行する方法は 3 つあります。ほとんどのプロジェクトでは Inference Server を使用します。

Inference Server

モデルと Workflow を HTTP 経由で提供する Docker コンテナ。

Inference Library

その inference プロセス内でモデルを実行するための Python パッケージ。

その他の SDK

Web ブラウザー、iOS、または組み込みデバイス上でモデルを実行します。

1 つ以上のクライアントや言語で予測が必要な場合、モデルをアプリケーションの依存関係から分離したい場合、またはエッジデバイスにデプロイする場合はサーバーを使用してください。

Inference がアプリケーション、モデル、Roboflow プラットフォームの間で担う役割

ローカルでモデルを実行

ほとんどのプロジェクトでは、Docker で Inference Server を実行し、次を使ってリクエストを送信します: inference-sdk。この SDK は、アプリケーションを Inference Server に接続する Python HTTP クライアントです。モデルを Python プロセス内に直接読み込んで実行する必要がある場合は Inference Library を使用してください。どちらの方法でも同じ model_id 値を受け入れるため、後から切り替えることができます。

Model ID

その model_id パラメータには次を指定できます:

• A 事前学習済みモデルのエイリアス、たとえば rfdetr-small または rfdetr-large

• 独自の Roboflow のファインチューニング済みモデル、たとえば my-project/1

• A Universe モデル、たとえば soccer-players-xy9vk/2

ファインチューニング済みモデルと Universe モデルには API キー.

Inference Server

インストール

次を使ってサーバーを起動します: Inference CLI。ハードウェアを検出し、セキュアなデフォルトで適切な Docker イメージを取得します:

pip install inference-cli && inference server start

次に HTTP クライアントをインストールします:

pip install inference-sdk

ハードウェア要件、デバイス別ガイド、および手動の docker run コマンドについては、 Inference Server をインストール。同じクライアントは次の対象にも使用できます: Serverless Cloud API および 専用デプロイメント：変更するのは api_url だけです。

推論を実行

from inference_sdk import InferenceHTTPClient, InferenceConfiguration

image = "https://media.roboflow.com/inference/people-walking.jpg"
client = InferenceHTTPClient(
    api_url="http://localhost:9001",  # 自己ホストのサーバー
    api_key="YOUR_API_KEY",
).configure(InferenceConfiguration(api_key_transport="header"))
results = client.infer(image, model_id="rfdetr-small")

その api_key_transport="header" 設定はキーを次の形式でのみ送信します: Authorization: Bearer ヘッダー。これにより URL とログからキーが除外されます。これにはリリース 1.5.0 以降の Inference Server が必要です。次を使用してください: api_key_transport="both" 古いサーバーをまだ呼び出す間は使用してください。参照: API キーの送信.

置き換え api_url を https://serverless.roboflow.com を使用するには Serverless Cloud API 代わりに使用します。他のコード変更は不要です。参照: Inference SDK リファレンス 詳細については。

結果を可視化

インストール Supervision:

pip install -U supervision

import supervision as sv
from inference_sdk import InferenceHTTPClient, InferenceConfiguration

image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg")

client = InferenceHTTPClient(
    api_url="http://localhost:9001",
    api_key="YOUR_API_KEY",
).configure(InferenceConfiguration(api_key_transport="header"))
results = client.infer(image, model_id="rfdetr-medium")

detections = sv.Detections.from_inference(results)

annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections)
annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections)

sv.plot_image(annotated_image)

Inference Library

インストール

次の inference パッケージを自分の Python 環境にインストールします:

pip install inference

NVIDIA GPU がある場合は、次をインストールしてください: inference-gpu 代わりに、index URL を OS にインストールされている CUDA のバージョンに合わせます:

pip install --extra-index-url https://download.pytorch.org/whl/cu124 inference-gpu

参照 Inference Library バックエンドの追加機能と GPU セットアップの詳細については

推論を実行

from inference import get_model

image = "https://media.roboflow.com/inference/people-walking.jpg"
model = get_model(model_id="rfdetr-small")
results = model.infer(image)

get_model() 初回使用時にモデルの重みをダウンロードしてキャッシュし、その後ローカルで推論を実行します。参照: Inference Python Package リファレンス 詳細については。

結果を可視化

インストール Supervision:

pip install -U supervision

import supervision as sv
from inference import get_model

image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg")

model = get_model(model_id="rfdetr-medium")
results = model.infer(image)[0]

detections = sv.Detections.from_inference(results)

annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections)
annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections)

sv.plot_image(annotated_image)

検出結果で注釈された歩行者

API キーを外部ユーザーに公開しないよう注意してください。公開フロントエンドアプリに埋め込まず、代わりに自分のバックエンド経由でリクエストを中継してください。

次を実行できます: Workflow 同じ方法で、サーバー上または自分のプロセス内で: 参照: Workflow をデプロイ.

プライベートモデル向けの TensorRT 最適化済みモデルパッケージは次でのみ利用できます: Enterprise プラン Roboflow プラットフォーム外で Inference を実行する場合です。公開モデルには、すべてのプランで TensorRT パッケージが含まれます。