Inference Python パッケージ

inference Python パッケージ: モデルの読み込み、自分のプロセスでの推論実行、Workflows の実行、動画ストリーミング。

この 推論 Python パッケージは、Roboflow のコンピュータービジョンデプロイメントスタックを支える中核のオープンソースライブラリです。モデルの読み込み、前処理/後処理、GPU/CPU 最適化を提供し、 Workflows 実行を、Python から直接呼び出せます。

この Inference Server このパッケージをラップして HTTP 経由で公開します（すべての依存関係をインストール済みの Docker イメージとして配布されます）が、また 推論 自分のスクリプトやアプリケーション内で直接使用できます。

各要素の連携

Inference には、コンピュータービジョンモデルを提供するために連携して動作する複数のコンポーネントがあります：

• 推論 - モデルの読み込み、推論、Workflows の実行を行う中核 Python パッケージ。

• inference-sdk - HTTP 経由で Inference Server と通信するための軽量な Python クライアント。

• inference-cli - Inference Server を管理し、一般的なタスクを実行するためのコマンドラインツール。

• Inference Server - 次をラップする HTTP サーバー（Docker）： 推論 パッケージを REST API として。

これらの要素が実行時にどのように動作するか（リクエストルーティング、並列化、マイクロサービスおよびアプライアンスのパターン）については、 Inference Architecture.

マルチバックエンド対応

Inference 1.0 は、ONNX、TensorRT、Hugging Face、PyTorch という複数の推論ランタイムバックエンドをサポートします。ハードウェアで利用可能な最速のバックエンドを自動的に選択します。たとえば、NVIDIA GPU を搭載している場合や Jetson デバイス上で実行していて、プラットフォーム上のそのモデルに利用可能な TensorRT エンジンがある場合、Inference は既定で TensorRT を使用します。

インストール

次のものを使用することを推奨します： Python 仮想環境 (venv) Inference の依存関係を分離するために。

pip で Inference をインストールするには：

pip install inference

NVIDIA GPU がある場合は、次の方法で推論を高速化できます：

pip install --extra-index-url https://download.pytorch.org/whl/cu124 inference-gpu
# --extra-index-url は、OS にインストールされている CUDA のバージョンに合わせて調整してください
# https://download.pytorch.org/whl/cu<major><minor>。たとえば、CUDA 13.0 の場合は https://download.pytorch.org/whl/cu130

簡単な例

HTTP 経由で Inference Server に対して推論を実行することも（ inference-sdk）または、ネイティブの 推論 パッケージ）。ネイティブの get_model() 呼び出しはモデルをスクリプトに読み込み、呼び出せるオブジェクトを返します .infer() 。HTTP クライアントは画像を同じ処理を行うサーバーへ送信します。

inference（ネイティブ）

from inference import get_model

model = get_model(model_id="rfdetr-small")
results = model.infer("https://media.roboflow.com/inference/people-walking.jpg")

inference-sdk（HTTP クライアント）

from inference_sdk import InferenceHTTPClient

client = InferenceHTTPClient(
    # api_url="http://localhost:9001",  # セルフホスト用
    api_url="https://serverless.roboflow.com",
    api_key="ROBOFLOW_API_KEY",
)
results = client.infer(
    "https://media.roboflow.com/inference/people-walking.jpg",
    model_id="rfdetr-small",
)

API キーを必要とするモデルを使用するには、 ROBOFLOW_API_KEY 環境変数を設定するか、直接渡してください：

model = get_model(model_id="my-project/1", api_key="ROBOFLOW_API_KEY")

次を参照してください： ネイティブ Python API ページで、可視化付きのより詳細な手順を確認でき、 モデルを実行 は、サーバーベースの手順についてです。

Inference パイプライン

InferencePipeline 動画を、次と同じ Python プロセス内で実行します： 推論 パッケージ。直接の Inference Library 実行を選び、そのカスタムロジックや sink インターフェースにアクセスする必要がある場合にのみ使用してください。Inference Server または Serverless を使用するアプリケーションでは、 WebRTCストリーミング.

from inference import InferencePipeline
from inference.core.interfaces.stream.sinks import render_boxes

pipeline = InferencePipeline.init(
    model_id="rfdetr-large",
    video_reference="https://storage.googleapis.com/com-roboflow-marketing/inference/people-walking.mp4",
    on_prediction=render_boxes,
    api_key="ROBOFLOW_API_KEY",
)

pipeline.start()
pipeline.join()

上のコードは、オブジェクト検出のアノテーションを直接行います（次を通じて render_boxes sink）。詳細は次を参照してください： Inference パイプライン ページ。

貢献

Inference はオープンソースです。ソースコード、課題トラッカー、コントリビューションガイドは次にあります： roboflow/inference リポジトリ。次を参照してください： CONTRIBUTING.md 始めるには。

次のステップ

• ネイティブ Python API - モデルを読み込み、自分のプロセス内で推論を実行します。

• Inference パイプライン - 動画ストリーム上でモデルを実行します。

• モデル重みのダウンロード - 重みのキャッシュと永続ストレージ。

• ベンチマーク - 一般的なハードウェアで測定したスループット。