セルフホストデプロイ

オープンソースのコンピュータビジョンデプロイフレームワークである Inference を使って、Roboflow のモデルと Workflows を自分のハードウェア上で実行します。

Inference は、オープンソースのコンピュータビジョン向けデプロイメントハブです。モデルとワークフローを提供し、動画ストリームを管理し、CPUおよびGPU向けに推論を最適化します。ローカル処理、レイテンシーやリソースの制御、またはオフラインでのデプロイが必要な場合は、セルフホストしてください。Apache 2.0ライセンスのコアは、Roboflowのホスト型APIも支えています。

セルフホスティングでは、インフラストラクチャを自分で管理します。Roboflowにサーバーの運用を任せたい場合は、専用デプロイメントまたは Serverless Cloud API、および完全なオプションの比較.

方法を選ぶ

自分のハードウェアでモデルを実行する方法は3つあります。ほとんどのプロジェクトではInference Serverを使用します。

Inference Server

HTTP経由でモデルとワークフローを提供するDockerコンテナ。

Inference Library

この 推論 プロセス内でモデルを実行するためのPythonパッケージ。

その他のSDK

Webブラウザ、iOS、または組み込みデバイス上でモデルを実行します。

複数のクライアントや言語で予測が必要な場合、モデルをアプリケーションの依存関係から分離したい場合、またはエッジデバイスにデプロイする場合は、サーバーを使用してください。

モデルをローカルで実行

ほとんどのプロジェクトでは、Inference ServerをDockerで実行し、次を使用してリクエストを送信します： inference-sdk。SDKは、アプリケーションをInference Serverに接続するPython HTTPクライアントです。Pythonプロセス内で直接モデルを読み込んで実行する必要がある場合は、Inference Libraryを使用してください。どちらの方法でも同じ model_id 値を受け付けるため、後から切り替えることができます。

モデルID

この model_id パラメーターには次を指定できます：

1つの事前学習済みモデルのエイリアス、たとえば rfdetr-small または rfdetr-large
独自の Roboflowでファインチューニングしたモデル、たとえば my-project/1
1つの Universeモデル、たとえば soccer-players-xy9vk/2

ファインチューニング済みモデルとUniverseモデルには、 APIキー.

インストール

次を使用してサーバーを起動します： Inference CLI。ハードウェアを検出し、安全なデフォルト設定で適切なDockerイメージを取得します：

pip install inference-cli && inference server start

次に、HTTPクライアントをインストールします：

pip install inference-sdk

ハードウェア要件、デバイス別ガイド、および手動の docker run コマンドについては、 Inference Serverのインストールを参照してください。同じクライアントは次に対しても動作します： Serverless Cloud API および専用デプロイメント：変更するのは api_url だけです。

推論を実行

from inference_sdk import InferenceHTTPClient

image = "https://media.roboflow.com/inference/people-walking.jpg"
client = InferenceHTTPClient(
    api_url="http://localhost:9001",  # セルフホストしたサーバー
    api_key="YOUR_API_KEY",
)
results = client.infer(image, model_id="rfdetr-small")

置き換える api_url を https://serverless.roboflow.com にして、次を使用します： Serverless Cloud API 。ほかのコードを変更する必要はありません。詳細については、 Inference SDKリファレンスを参照してください。

結果を可視化

インストール Supervision:

pip install -U supervision

import supervision as sv
from inference_sdk import InferenceHTTPClient

image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg")

client = InferenceHTTPClient(
    api_url="http://localhost:9001",
    api_key="YOUR_API_KEY",
)
results = client.infer(image, model_id="rfdetr-medium")

detections = sv.Detections.from_inference(results)

annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections)
annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections)

sv.plot_image(annotated_image)

インストール

次をインストールします： 推論 パッケージを自身のPython環境に：

pip install inference

NVIDIA GPUを使用している場合は、 inference-gpu を代わりにインストールし、インデックスURLをOSにインストールされているCUDAのバージョンに合わせてください：

pip install --extra-index-url https://download.pytorch.org/whl/cu124 inference-gpu

次を参照してください： Inference Library バックエンドの追加機能およびGPUセットアップの詳細について。

推論を実行

from inference import get_model

image = "https://media.roboflow.com/inference/people-walking.jpg"
model = get_model(model_id="rfdetr-small")
results = model.infer(image)

get_model() は、初回使用時にモデルの重みをダウンロードしてキャッシュし、その後ローカルで推論を実行します。次を参照してください： Inference Pythonパッケージのリファレンスを参照してください。

結果を可視化

インストール Supervision:

pip install -U supervision

import supervision as sv
from inference import get_model

image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg")

model = get_model(model_id="rfdetr-medium")
results = model.infer(image)[0]

detections = sv.Detections.from_inference(results)

annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections)
annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections)

sv.plot_image(annotated_image)

APIキーを外部ユーザーに公開しないよう注意してください。公開フロントエンドアプリに埋め込まず、代わりに自分のバックエンド経由でリクエストをプロキシしてください。

次を実行できます：ワークフローも同じ方法で、サーバー上または自身のプロセス内で実行できます。次を参照してください：ワークフローをデプロイする.

プライベートモデル用のTensorRT最適化モデルパッケージは、 Enterpriseプランでのみ利用可能です（Roboflowプラットフォーム外でInferenceを実行する場合）。パブリックモデルには、すべてのプランでTensorRTパッケージが含まれます。

前へ専用デプロイを一時停止して再開する次へInference Server

最終更新 4 日前

役に立ちましたか？