> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/models/ja/supported-models/cosmos-3-edge.md).

# Cosmos 3 Edge

Cosmos 3 Edge は NVIDIA の vision-language「世界モデル」です。物理的なシーン理解向けに調整されており、オブジェクト間の空間関係を推論したり、シーンを安全条件と照合したり、次に何が起こりそうかを予測したりできます。画像とテキストプロンプトを受け取り、テキスト応答を返します。さらに、動作を制御するためのシステムプロンプトもオプションで指定できます。Cosmos 3 Edge は当社の [サーバーレス Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api), [専用デプロイ](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments)、および [セルフホスト型 Inference](https://inference.roboflow.com/).

{% hint style="info" %}
セルフホストの Cosmos 3 Edge には CUDA 対応 GPU が必要です。CPU では実行できません。以下で実行してください [サーバーレス Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api)、 [専用デプロイ](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments) GPU 搭載の、または GPU バックエンドの [セルフホスト型 Inference](https://inference.roboflow.com/) サーバー。
{% endhint %}

## Cosmos 3 Edge API

{% stepper %}
{% step %}

### API キーを取得する

Roboflow アカウントを作成し、キーは以下で確認してください [Roboflow API 設定ページ](https://app.roboflow.com/settings/api) そしてシェルで使えるようにします:

```bash
export ROBOFLOW_API_KEY="your-key-here"
```

{% endstep %}

{% step %}

### 依存関係をインストールする

以下をインストールします [Inference SDK](https://inference.roboflow.com/):

```bash
pip install inference-sdk
```

{% endstep %}

{% step %}

### モデルを実行する

サンプルは以下に `nvidia/cosmos-3-edge` モデルに画像についての物理推論の質問をし、応答を表示します。

```python
import os
import cv2
from inference_sdk import InferenceHTTPClient, InferenceConfiguration

image = cv2.imread("my-image.jpg")
client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
).configure(InferenceConfiguration(api_key_transport="header"))
result = client.infer_lmm(
    image,
    model_id="nvidia/cosmos-3-edge",
    prompt="このシーンの次に何が起こりそうですか？",
    max_new_tokens=128,
)
print(result["response"] )
```

{% endstep %}
{% endstepper %}

上のコードはモデルの応答をターミナルに出力します。サンプル画像での結果は次のとおりです:

<figure><img src="/files/981a1ef96db399c8d4dcfcb1592398ee3c374b31" alt="Cosmos 3 Edge predicting what will happen next in a street scene with a red SUV"><figcaption><p>Cosmos 3 Edge はシーンで次に何が起こりそうかを予測します。</p></figcaption></figure>

## Workflow で Cosmos 3 Edge を使う

Cosmos 3 Edge は以下で利用できます [Workflows](https://docs.roboflow.com/workflows) 「Cosmos 3」ブロックとして。ブロックは画像と、オプションのテキスト `プロンプト` （デフォルト `「この画像に何が写っているか説明してください。」`）に加えてオプションのシステムプロンプトを受け取り、モデルのテキスト応答を出力します。その出力を、解析、フィルタリング、通知用の下流ブロックにつなげられます。

{% hint style="info" %}
設定 `api_url` をデプロイ先に合わせて設定します:

* `https://serverless.roboflow.com` サーバーレス Cloud API 用。
* `http://localhost:9001` ローカルの [Inference](https://inference.roboflow.com/) サーバー。
* あなたの [専用デプロイ](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments) プライベートエンドポイントの URL。
  {% endhint %}

## self-hosted Inference で Cosmos 3 Edge を実行する

Cosmos 3 Edge は以下でも実行できます [Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted) 自分でホストするサーバー。

{% hint style="warning" %}
self-hosted Cosmos 3 Edge には CUDA 対応 GPU と、GPU Inference server Docker イメージの Cosmos ビルド（ `-cosmos3` という接尾辞付きタグ、例: `roboflow/roboflow-inference-server-gpu:1.3.9-cosmos3`）。このモデルはプレリリース版の `transformers` これらのイメージ内でのみ提供されるビルドに依存しています。標準の `latest` イメージでは実行できず、 `inference` Python パッケージを pip でインストールするだけでは不十分です。
{% endhint %}

Cosmos イメージでローカルサーバーを起動します:

```bash
pip install inference-cli
inference server start --image roboflow/roboflow-inference-server-gpu:1.3.9-cosmos3  # http://localhost:9001 を提供します
```

次に、同じ SDK コードの接続先をあなたのサーバーに向けます:

```python
import os
from inference_sdk import InferenceHTTPClient

client = InferenceHTTPClient(
    api_url="http://127.0.0.1:9001",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)

result = client.infer_lmm(
    inference_input="./my-image.jpg",
    model_id="nvidia/cosmos-3-edge",
    prompt="このシーンの次に何が起こりそうですか？",
)
print(result["response"] )
```

## Inference Python パッケージで Cosmos 3 Edge を実行する

モデルは以下を使ってプロセス内でも実行できます [Inference](https://inference.roboflow.com/) Python パッケージを使えば、HTTP サーバーなしで実行できます。Cosmos の依存関係は以下にのみ含まれているため、 `-cosmos3` Docker イメージ内でスクリプトを実行してください。作成する `app.py`:

```python
from inference import get_model

model = get_model("nvidia/cosmos-3-edge", api_key="YOUR_ROBOFLOW_API_KEY")

result = model.infer(
    "https://media.roboflow.com/dog.jpeg",
    prompt="このシーンの次に何が起こりそうですか？",
)

print(result[0].response)
```

次に、Cosmos イメージ内で実行します:

```bash
docker run --rm --gpus all \\
  -v $(pwd):/workspace -w /workspace \\
  -v /tmp/model-cache:/tmp/model-cache -e MODEL_CACHE_DIR=/tmp/model-cache \\
  --entrypoint python3 \\
  roboflow/roboflow-inference-server-gpu:1.3.9-cosmos3 app.py
```

この `/tmp/model-cache` へのマウントにより、ダウンロードした重みが実行間で保持されます。これは同じキャッシュディレクトリです `inference server start` が使用します。