> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/models/ja/supported-models/cosmos-3-edge.md).

# Cosmos 3 Edge

Cosmos 3 Edge は NVIDIA の視覚言語「世界モデル」です。物理的なシーン理解向けに調整されており、物体間の空間的関係を推論し、シーンを安全条件と照合し、次に何が起こりそうかを予測します。画像とテキストプロンプトを受け取り、テキスト応答を返します。動作を制御するための任意のシステムプロンプトも指定できます。Cosmos 3 Edge は、当社の [サーバーレスホスト API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api), [専用デプロイメント](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments)、および [セルフホスト推論](https://inference.roboflow.com/).

{% hint style="info" %}
セルフホストの Cosmos 3 Edge には CUDA 対応 GPU が必要です。CPU では実行できません。次の環境で実行してください: [サーバーレスホスト API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api)、つまり [専用デプロイメント](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments) の GPU 搭載版、または GPU バックエンドの [セルフホスト推論](https://inference.roboflow.com/) サーバー。
{% endhint %}

## コードサンプル

{% stepper %}
{% step %}

### API キーを取得する

Roboflow アカウントを作成し、キーを次の場所で見つけてください: [Roboflow API 設定ページ](https://app.roboflow.com/settings/api) そしてシェルから利用できるようにします:

```bash
export ROBOFLOW_API_KEY="your-key-here"
```

{% endstep %}

{% step %}

### 依存関係をインストールする

次をインストールします: [Inference SDK](https://inference.roboflow.com/):

```bash
pip install inference-sdk
```

{% endstep %}

{% step %}

### モデルを実行する

サンプルでは次の `nvidia/cosmos-3-edge` モデルに画像に関する物理推論の質問を行い、応答を出力します。

```python
import os
import cv2
from inference_sdk import InferenceHTTPClient

image = cv2.imread("my-image.jpg")
client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer_lmm(
    image,
    model_id="nvidia/cosmos-3-edge",
    prompt="このシーンで次に何が起こりそうですか?",
    max_new_tokens=128,
)
print(result["response"])
```

{% endstep %}
{% endstepper %}

上記のコードは、モデルの応答を端末に出力します。サンプル画像での結果は次のとおりです:

<figure><img src="/files/981a1ef96db399c8d4dcfcb1592398ee3c374b31" alt="Cosmos 3 Edge predicting what will happen next in a street scene with a red SUV"><figcaption><p>Cosmos 3 Edge はシーンで次に何が起こりそうかを予測します。</p></figcaption></figure>

## ワークフローで使用する

Cosmos 3 Edge は [Workflows](https://docs.roboflow.com/workflows) の「Cosmos 3」ブロックとして利用できます。このブロックは画像と任意のテキスト `プロンプト` （デフォルト `「この画像に何が写っているか説明してください。」`）と任意のシステムプロンプトを受け取り、モデルのテキスト応答を出力します。この出力を後続ブロックにつなげて、解析、フィルタリング、通知に利用できます。

{% hint style="info" %}
設定する `api_url` をデプロイ先に合わせて設定します:

* `https://serverless.roboflow.com` サーバーレスホスト API の場合。
* `http://localhost:9001` ローカルの [Inference](https://inference.roboflow.com/) サーバー。
* あなたの [専用デプロイメント](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments) プライベートエンドポイント用の URL。
  {% endhint %}

## Inference（セルフホスト）で使う

Cosmos 3 Edge は次の環境でも実行できます: [Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted) 自分でホストするサーバー。

{% hint style="warning" %}
セルフホストの Cosmos 3 Edge には CUDA 対応 GPU と、GPU Inference サーバー Docker イメージの Cosmos ビルド（ `-cosmos3` を末尾に付けたタグ。例: `roboflow/roboflow-inference-server-gpu:1.3.8-cosmos3`）。このモデルはプレリリース版に依存しています `transformers` ビルドで、これらのイメージ内でのみ提供されます。標準の `latest` イメージでは実行できず、 `inference` Python パッケージを pip でインストールするだけでは不十分です。
{% endhint %}

Cosmos イメージでローカルサーバーを起動します:

```bash
pip install inference-cli
inference server start --image roboflow/roboflow-inference-server-gpu:1.3.8-cosmos3  # http://localhost:9001 を提供します
```

次に、同じ SDK コードの接続先をそのサーバーに向けます:

```python
import os
from inference_sdk import InferenceHTTPClient

client = InferenceHTTPClient(
    api_url="http://127.0.0.1:9001",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)

result = client.infer_lmm(
    inference_input="./my-image.jpg",
    model_id="nvidia/cosmos-3-edge",
    prompt="このシーンで次に何が起こりそうですか?",
)
print(result["response"])
```

## Inference Python パッケージで使う

また、次のものを使って HTTP サーバーなしでプロセス内でモデルを実行できます: [Inference](https://inference.roboflow.com/) Python パッケージ。Cosmos の依存関係は `-cosmos3` Docker イメージ内でのみ提供されるため、スクリプトはそのイメージ内で実行してください。作成します `app.py`:

```python
from inference import get_model

model = get_model("nvidia/cosmos-3-edge", api_key="YOUR_ROBOFLOW_API_KEY")

result = model.infer(
    "https://media.roboflow.com/dog.jpeg",
    prompt="このシーンで次に何が起こりそうですか?",
)

print(result[0].response)
```

次に、Cosmos イメージ内で実行します:

```bash
docker run --rm --gpus all \
  -v $(pwd):/workspace -w /workspace \
  -v /tmp/model-cache:/tmp/model-cache -e MODEL_CACHE_DIR=/tmp/model-cache \
  --entrypoint python3 \
  roboflow/roboflow-inference-server-gpu:1.3.8-cosmos3 app.py
```

その `/tmp/model-cache` マウントにより、ダウンロードした重みが実行間で保持されます。これは同じキャッシュディレクトリです `inference server start` が使用します。