Cosmos 3 Edge

NVIDIA의 Cosmos 3 Edge 비전-언어 월드 모델을 Serverless Cloud API를 통해 사용하세요.

Cosmos 3 Edge는 NVIDIA의 비전-언어 "월드 모델"입니다. 물리적 장면 이해에 맞게 조정되어 있습니다: 물체 간의 공간적 관계를 추론하고, 장면을 안전 조건과 비교해 확인하며, 다음에 일어날 가능성이 높은 일을 예측합니다. 이미지를 하나와 텍스트 프롬프트를 받아 텍스트 응답을 반환하며, 동작을 조정하기 위한 선택적 시스템 프롬프트를 지원합니다. 우리는 Cosmos 3 Edge를 다음을 통해 지원합니다 서버리스 클라우드 API, 전용 배포, 그리고 자체 호스팅 Inference.

자체 호스팅 Cosmos 3 Edge에는 CUDA를 지원하는 GPU가 필요합니다. CPU에서는 실행할 수 없습니다. 다음에서 실행하세요 서버리스 클라우드 API, 하나의 전용 배포 GPU가 있는 또는 GPU 기반 자체 호스팅 Inference 서버.

코드 예제

1

API 키를 받기

Roboflow 계정을 만들고, 다음에서 키를 찾으세요 Roboflow API 설정 페이지 그리고 셸에서 사용할 수 있도록 설정하세요:

export ROBOFLOW_API_KEY="your-key-here"

2

의존성 설치

다음을 설치하세요: Inference SDK:

pip install inference-sdk

3

모델 실행

샘플은 다음에게 질문합니다 nvidia/cosmos-3-edge 모델에 이미지에 대한 물리적 추론 질문을 하고 응답을 출력합니다.

import os
import cv2
from inference_sdk import InferenceHTTPClient

image = cv2.imread("my-image.jpg")
client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer_lmm(
    image,
    model_id="nvidia/cosmos-3-edge",
    prompt="What is likely going to happen next in this scene?",
    max_new_tokens=128,
)
print(result["response"])

위 코드는 모델 응답을 터미널에 출력합니다. 샘플 이미지에서의 결과는 다음과 같습니다:

Cosmos 3 Edge는 장면에서 다음에 일어날 가능성이 높은 일을 예측합니다.

워크플로에서 사용

Cosmos 3 Edge는 다음에서 사용할 수 있습니다: Workflows "Cosmos 3" 블록으로. 이 블록은 이미지와 선택적 텍스트 프롬프트 (기본값 "이 이미지에 무엇이 있는지 설명하세요."), 그리고 선택적 시스템 프롬프트를 추가로 받아 모델의 텍스트 응답을 출력합니다. 이 출력을 파싱, 필터링 또는 알림을 위한 다운스트림 블록으로 연결할 수 있습니다.

설정하세요 api_url 를 배포 대상에 맞게:

• https://serverless.roboflow.com 서버리스 클라우드 API의 경우.

• http://localhost:9001 로컬 Inference 서버.

• 귀하의 전용 배포 비공개 엔드포인트의 URL.

Inference(자체 호스팅)와 함께 사용

Cosmos 3 Edge는 다음에서도 실행됩니다: Inference 직접 호스팅하는 서버.

자체 호스팅 Cosmos 3 Edge에는 CUDA를 지원하는 GPU와 GPU Inference 서버 Docker 이미지의 Cosmos 빌드( -cosmos3 접미사가 붙은 태그가 필요합니다. 예: roboflow/roboflow-inference-server-gpu:1.3.9-cosmos3). 이 모델은 프리릴리스 transformers 빌드에 의존하며, 이는 해당 이미지 내부에서만 제공됩니다. 표준 latest 이미지로는 실행할 수 없으며, 다음을 설치하는 것만으로는 충분하지 않습니다: inference Python 패키지를 pip로 설치하는 것만으로는 충분하지 않습니다.

Cosmos 이미지로 로컬 서버를 시작하세요:

pip install inference-cli
inference server start --image roboflow/roboflow-inference-server-gpu:1.3.9-cosmos3  # serves http://localhost:9001

그런 다음 동일한 SDK 코드를 서버로 향하게 하세요:

import os
from inference_sdk import InferenceHTTPClient

client = InferenceHTTPClient(
    api_url="http://127.0.0.1:9001",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)

result = client.infer_lmm(
    inference_input="./my-image.jpg",
    model_id="nvidia/cosmos-3-edge",
    prompt="What is likely going to happen next in this scene?",
)
print(result["response"])

Inference Python 패키지와 함께 사용

모델을 다음과 함께 프로세스 내에서 실행할 수도 있습니다: Inference Python 패키지로 HTTP 서버 없이 실행할 수 있습니다. Cosmos 종속성은 다음에만 포함되어 있으므로 -cosmos3 Docker 이미지에서 스크립트를 실행하세요. 다음을 만드세요: app.py:

from inference import get_model

model = get_model("nvidia/cosmos-3-edge", api_key="YOUR_ROBOFLOW_API_KEY")

result = model.infer(
    "https://media.roboflow.com/dog.jpeg",
    prompt="What is likely going to happen next in this scene?",
)

print(result[0].response)

그런 다음 Cosmos 이미지 안에서 실행하세요:

docker run --rm --gpus all \
  -v $(pwd):/workspace -w /workspace \
  -v /tmp/model-cache:/tmp/model-cache -e MODEL_CACHE_DIR=/tmp/model-cache \
  --entrypoint python3 \
  roboflow/roboflow-inference-server-gpu:1.3.9-cosmos3 app.py

다음 /tmp/model-cache 마운트는 실행 간에 다운로드한 가중치를 유지합니다. 이는 동일한 캐시 디렉터리입니다 inference server start 가 사용합니다.