> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/models/ko/supported-models/v-jepa-2-1.md).

# V-JEPA 2.1

Roboflow에서 동작 인식을 위해 Meta의 V-JEPA 2.1 비디오 모델을 학습하고 Serverless Cloud API를 통해 실행하세요

Meta의 [V-JEPA 2.1](https://github.com/facebookresearch/vjepa2) 자기지도 비디오 모델로 [행동 인식](https://docs.roboflow.com/models/ko/supported-models.md#action-recognition). Roboflow는 라벨이 지정된 비디오 세그먼트에 대해 ViT-B 인코더를 미세 조정합니다. 학습된 모델은 행동 타임라인을 반환합니다. 각 항목에는 클래스, 시작 및 종료 프레임, 그리고 신뢰도 점수가 있습니다. 여러 행동이 시간상 겹칠 수 있습니다.

{% hint style="info" %}
V-JEPA 2.1은 베타 단계이며 유료 요금제가 필요합니다.
{% endhint %}

## V-JEPA 2.1 학습

{% stepper %}
{% step %}

### 동영상을 라벨링하세요

행동 인식 [프로젝트](https://docs.roboflow.com/datasets/create-and-upload/create-a-project), 동영상을 업로드하고 [비디오 세그먼트에 라벨을 지정하세요](https://docs.roboflow.com/datasets/annotate/annotate/annotate-video-segments) 행동 클래스로. 동영상을 train 및 valid 분할에 모두 넣으세요. test 분할은 선택 사항입니다.

<figure><img src="https://2225311784-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-60aeac197b79a3eaa88190f32cbdbff0fc83ab66%2Faction-recognition-annotation-editor.webp?alt=media" alt="Action Recognition video annotation editor with pick up leg, align leg screw, spin leg, and flip table segments on separate timeline rows"><figcaption><p>각 세그먼트는 비디오에서 행동 클래스가 발생하는 시점을 표시합니다.</p></figcaption></figure>
{% endstep %}

{% step %}

### 학습 시작

버전을 생성하고 [모델을 학습하세요](https://docs.roboflow.com/models/ko/train/train-a-model.md). 학습 선택기에서 V-JEPA 2.1을 선택하세요.

권장 비디오 샘플링은 384×384 프레임, 창당 64프레임, 초당 4프레임입니다. 프레임 크기는 16픽셀의 배수여야 하고 프레임 수는 짝수여야 합니다. 각 전체 프레임은 자르지 않고 정사각형으로 크기 조정됩니다.
{% endstep %}

{% step %}

### 중지 또는 재개

검증 F1이 더 이상 향상되지 않으면 학습이 자동으로 중지됩니다. 학습을 일찍 중지할 수도 있습니다. 현재 에포크를 완료한 뒤 가장 좋은 체크포인트를 유지합니다. 나중에 마지막 체크포인트에서 계속할 수 있습니다.
{% endstep %}
{% endstepper %}

학습 요약에는 V-JEPA 2.1에 대한 시간 또는 크레딧 추정치가 표시되지 않습니다. V-JEPA 2.1 모델을 사용한 자동 라벨링은 지원되지 않습니다.

## V-JEPA 2.1 API

{% stepper %}
{% step %}

### API 키를 받으세요

다음에서 키를 찾으세요 [Roboflow API 설정 페이지](https://app.roboflow.com/settings/api) 에서 확인하고 셸에서 사용할 수 있도록 설정하세요:

```bash
export ROBOFLOW_API_KEY="your-key-here"
```

{% endstep %}

{% step %}

### 의존성을 설치하세요

다음을 설치하세요 [Inference SDK](https://docs.roboflow.com/deployment/self-hosted/self-hosted), 버전 1.5.2 이상:

```bash
pip install -U inference-sdk
```

{% endstep %}

{% step %}

### 모델 실행

학습한 모델의 ID로 전체 비디오 클립을 전송합니다(참조 [버전, 학습, 모델](https://docs.roboflow.com/models/ko/versions-trainings-and-models.md)).

```python
import os
from inference_sdk import InferenceHTTPClient, InferenceConfiguration

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
).configure(InferenceConfiguration(api_key_transport="header"))

# "your-project/1"을 모델 ID로 바꾸세요.
result = client.infer_on_video(
    "https://example.com/video.mp4",
    model_id="your-project/1",
)

for segment in result["timeline"]:
    start = segment["start_frame_idx"] / result["source_fps"]
    end = (segment["end_frame_idx"] + 1) / result["source_fps"]
    print(f"{segment['class']}: {start:.1f}s - {end:.1f}s ({segment['confidence']:.2f})")
```

{% endstep %}
{% endstepper %}

각 타임라인 항목에는 `클래스`, `class_id`, `start_frame_idx`, `end_frame_idx`그리고 `confidence`가 있습니다. 프레임 인덱스는 원본 비디오를 기준으로 하며, 0부터 시작하고 양 끝을 모두 포함합니다. 서로 닿거나 겹치는 같은 클래스의 구간은 하나로 병합됩니다.

`infer_on_video` 는 로컬 파일 경로도 지원하지만, 파일이 base64로 전송되므로 긴 클립의 경우 URL을 사용하는 것이 좋습니다. 일부 클래스만 보고하려면 `client.configure(InferenceConfiguration(class_filter=["walking"]))` 을 추론 전에 호출하세요.

{% hint style="info" %}
다음을 `api_url` 을 배포 대상에 맞게 설정하세요:

* `https://serverless.roboflow.com` Serverless Cloud API용.
* `http://localhost:9001` 로컬 [Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted) 서버용.
* 당신의 [전용 배포](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments) 비공개 엔드포인트용 URL.
  {% endhint %}

## 워크플로에서 V-JEPA 2.1 사용하기

다음을 추가하세요 [행동 인식 모델](https://docs.roboflow.com/workflows/blocks/blocks/video-processing/action-recognition-model) 블록을 [워크플로에](https://docs.roboflow.com/workflows) 비디오 스트림에서 학습된 V-JEPA 2.1 모델을 실행하세요. 이 블록은 프레임을 버퍼링하고 스트림이 재생되는 동안 행동 타임라인을 출력합니다. 또한 [학습된 모델을 평가할 수도 있습니다](https://docs.roboflow.com/models/ko/evaluate/evaluate-trained-models.md).

## 가중치 다운로드

학습된 V-JEPA 2.1 모델을 다음 형식으로 다운로드할 수 있습니다. `model.safetensors` 파일. 참조: [모델 가중치 다운로드](https://docs.roboflow.com/models/ko/model-weights/download-roboflow-model-weights.md).

## 라이선스

Roboflow의 V-JEPA 2.1 코드는 Meta의 공개 버전을 MIT 라이선스에 따라 수정한 것입니다. 참조: [모델 라이선스](https://docs.roboflow.com/models/ko/model-licenses.md#other-models).
