モデルをローカルで実行する

Docker 推論サーバーを使って、5 分で自分のハードウェア上で Roboflow モデルを実行します。

Roboflow Inference Roboflowのホスト型モデルを支える無料のオープンソースエンジンです。同じモデルを自分のコンピュータで実行できます。Dockerコンテナで推論サーバーを起動し、その後HTTPまたはPythonの推論 SDK。自分で実行すれば、画像は自分の端末に残り、セットアップを完全に制御できます。

自分のマシンでモデルを実行する

推論サーバーを起動する

inference server start を起動します推論サーバーをDockerコンテナで起動し、CPU、NVIDIA GPU、Jetsonのいずれかに適したバージョンを選択します。 Docker がインストールされ、実行中である必要があります。

pip install inference-cli && inference server start

サーバーは次で待ち受けます http://localhost:9001。デバイス固有のセットアップとトラブルシューティングについては、推論のインストールガイド.

依存関係をインストールする

supervision が結果を描画し、 cv2 と numpy:

pip install -U supervision

モデルを実行する

画像をローカルサーバーに送信し、既製の RF-DETR モデルを実行します。このような既製モデルにはAPIキーは不要です：

import base64
import cv2
import requests
import supervision as sv

image = sv.load_image_from_url("https://media.roboflow.com/quickstart/cars.jpg")
image_b64 = base64.b64encode(content).decode("utf-8")

result = requests.post(
    "http://localhost:9001/coco/38",  # coco/38 == rfdetr-nano
    data=image_b64,  # 本文にそのままのbase64
    headers={"Content-Type": "application/x-www-form-urlencoded"},
).json()
detections = sv.Detections.from_inference(result)
print(f"Found {len(detections)} objects")

annotated = sv.BoxAnnotator().annotate(image.copy(), detections)
annotated = sv.LabelAnnotator().annotate(annotated, detections)
cv2.imwrite("output.jpg", annotated)

推論サーバーを起動する

pip install inference-cli && inference server start

サーバーは次で待ち受けます http://localhost:9001。デバイス固有のセットアップとトラブルシューティングについては、推論のインストールガイド.

SDKをインストールする

supervision が結果を描画し、 cv2 と numpy:

pip install -U inference-sdk supervision

モデルを実行する

クライアントをローカルサーバーに向けて、既製の RF-DETR モデルを実行します。このような既製モデルにはAPIキーは不要です：

import cv2
import supervision as sv
from inference_sdk import InferenceHTTPClient

image = sv.load_image_from_url("https://media.roboflow.com/quickstart/cars.jpg")

client = InferenceHTTPClient(api_url="http://localhost:9001")
result = client.infer(image, model_id="rfdetr-nano")

detections = sv.Detections.from_inference(result)
print(f"Found {len(detections)} objects")

annotated = sv.BoxAnnotator().annotate(image.copy(), detections)
annotated = sv.LabelAnnotator().annotate(annotated, detections)
cv2.imwrite("output.jpg", annotated)

最初のリクエストではモデルをダウンロードするため、数秒かかることがあります。次回以降のリクエストは高速です。

RF-DETR car and truck bounding boxes on a road scene

動画を処理する

動画でモデルを実行するには、サーバーとWebRTCセッションを開き、動画の再生中に処理済みのフレームと予測結果を受け取ります。コンピュータが追いつかない場合、サーバーはリアルタイムを維持するためにフレームをスキップします。同じSDKで1つのモデルまたは1つのワークフロー.

は、上の画像の例と同じようにフレームを1つずつ送信することで、HTTP経由でも動画上でモデルを実行できます（ストリーミング用アドオンは不要です）。これはより遅く、次のフレームを開始する前に各フレームを送信、処理、描画する必要があるため、その間にかなり待ち時間が発生します。SDKは動画全体をストリーミングし、複数フレームを同時に処理するので、はるかにうまく追従できます。

SDKをインストールする

動画のストリーミングには webrtc アドオンが必要です：

pip install "inference-sdk[webrtc]"

動画でモデルを実行する

import cv2
from inference_sdk import InferenceHTTPClient
from inference_sdk.webrtc import VideoFileSource
import supervision as sv

client = InferenceHTTPClient.init(api_url="http://localhost:9001")

# 動画をダウンロードしてキャッシュ
source = VideoFileSource("https://media.roboflow.com/quickstart/cars.mp4")
# 最適化された動画ストリーミングのためにwebrtcを使用
session = client.webrtc.stream(
    source=source,
    model_id="rfdetr-nano"
)

# on_frameはメインスレッドで実行されるため、cv2.imshowは安全です
@session.on_frame
def show(frame, data):
    det = sv.Detections.from_inference(data)
    img = sv.BoxAnnotator().annotate(frame, det)
    img = sv.LabelAnnotator().annotate(img, det)
    cv2.imshow("RF-DETR", img)
    if cv2.waitKey(1) == ord("q"):
        session.close()

session.run()
cv2.destroyAllWindows()

トラッキング、フィルタリング、ゾーン、通知を含む、より豊かなパイプラインを視覚的に Workflowsエディタで構築し、同じWebRTCクライアントで実行できます。参照： Workflowsでの動画処理.

その他の選択肢

ハードウェアを稼働させずに管理型エンドポイントを使いたいですか？専用デプロイメントまたは Serverless Cloud API.
オンプレミス、エアギャップ、またはKubernetesでのデプロイが必要ですか？エンタープライズデプロイメント.
すべての選択肢を比較するにはモデルまたはワークフローをデプロイする.

前へモデル学習次へ動画上でモデルを実行する

最終更新 12 日前

役に立ちましたか？