Cosmos 3 Edge

NVIDIA の Cosmos 3 Edge 画像言語ワールドモデルを Serverless Cloud API で使用します

Cosmos 3 Edge は、NVIDIA の視覚・言語「ワールドモデル」です。物理シーン理解向けに調整されており、物体間の空間関係の推論、シーンが安全条件に合致しているかの確認、そして次に何が起こりそうかの予測を行います。画像とテキストプロンプトを受け取り、テキスト応答を返します。さらに、動作を制御するためのシステムプロンプトも任意で指定できます。私たちは Cosmos 3 Edge を以下を通じてサポートしています。 サーバーレスクラウド API, 専用デプロイ、および セルフホスト型 Inference.

セルフホスト型 Cosmos 3 Edge には CUDA 対応 GPU が必要です。CPU では実行できません。以下で実行してください。 サーバーレスクラウド API、 専用デプロイ （GPU 搭載）または GPU 搭載の セルフホスト型 Inference サーバー上で。

コードサンプル

1

API キーを取得する

Roboflow アカウントを作成し、以下のページでキーを見つけます。 Roboflow API 設定ページ そしてシェルで利用可能にします:

export ROBOFLOW_API_KEY="your-key-here"

2

依存関係をインストールする

以下をインストールします。 Inference SDK:

pip install inference-sdk

3

モデルを実行する

このサンプルは以下に対して nvidia/cosmos-3-edge モデルへ画像に関する物理推論の質問を行い、応答を出力します。

import os
import cv2
from inference_sdk import InferenceHTTPClient

image = cv2.imread("my-image.jpg")
client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer_lmm(
    image,
    model_id="nvidia/cosmos-3-edge",
    prompt="このシーンで次に何が起こりそうですか？",
    max_new_tokens=128,
)
print(result["response"])

上のコードは、モデルの応答をターミナルに出力します。以下はサンプル画像での結果です:

Cosmos 3 Edge は、シーンで次に何が起こりそうかを予測します。

ワークフローで使用する

Cosmos 3 Edge は Workflows で「Cosmos 3」ブロックとして利用できます。このブロックは画像と任意のテキスト プロンプト （デフォルト 「この画像に何が写っているかを説明してください。」）、さらに任意のシステムプロンプトを受け取り、モデルのテキスト応答を出力します。その出力を下流のブロックへつなげて、解析、フィルタリング、通知に利用できます。

次のように api_url をデプロイ先に合わせて設定します:

• https://serverless.roboflow.com サーバーレスクラウド API 用。

• http://localhost:9001 ローカル Inference サーバー上で。

• プライベートエンドポイントの 専用デプロイ URL です。

Inference（セルフホスト型）で使用する

Cosmos 3 Edge は、 Inference 自分でホストするサーバー上でも実行できます。

セルフホスト型 Cosmos 3 Edge には CUDA 対応 GPU と、GPU Inference server Docker イメージの Cosmos ビルド（ -cosmos3 のサフィックス付きタグ。例: roboflow/roboflow-inference-server-gpu:1.3.9-cosmos3）が必要です。このモデルは、これらのイメージ内にのみ含まれるプレリリース版の transformers ビルドに依存しています。標準の latest イメージでは実行できず、 inference Python パッケージを pip でインストールするだけでは不十分です。

Cosmos イメージでローカルサーバーを起動します:

pip install inference-cli
inference server start --image roboflow/roboflow-inference-server-gpu:1.3.9-cosmos3  # http://localhost:9001 を提供

次に、同じ SDK コードをサーバーに向けます:

import os
from inference_sdk import InferenceHTTPClient

client = InferenceHTTPClient(
    api_url="http://127.0.0.1:9001",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)

result = client.infer_lmm(
    inference_input="./my-image.jpg",
    model_id="nvidia/cosmos-3-edge",
    prompt="このシーンで次に何が起こりそうですか？",
)
print(result["response"])

Inference Python パッケージと一緒に使う

HTTP サーバーを使わずに、 Inference Python パッケージでモデルをプロセス内実行することもできます。Cosmos の依存関係は -cosmos3 Docker イメージ内にのみ含まれているため、スクリプトはそのイメージ内で実行してください。 app.py:

from inference import get_model

model = get_model("nvidia/cosmos-3-edge", api_key="YOUR_ROBOFLOW_API_KEY")

result = model.infer(
    "https://media.roboflow.com/dog.jpeg",
    prompt="このシーンで次に何が起こりそうですか？",
)

print(result[0].response)

次に、Cosmos イメージ内で実行します:

docker run --rm --gpus all \
  -v $(pwd):/workspace -w /workspace \
  -v /tmp/model-cache:/tmp/model-cache -e MODEL_CACHE_DIR=/tmp/model-cache \
  --entrypoint python3 \
  roboflow/roboflow-inference-server-gpu:1.3.9-cosmos3 app.py

その /tmp/model-cache のマウントにより、ダウンロードした重みが実行をまたいで保持されます。これは inference server start が使用するのと同じキャッシュディレクトリです。