> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/models/ja/supported-models/v-jepa-2-1.md).

# V-JEPA 2.1

Roboflowでアクション認識用にMetaのV-JEPA 2.1動画モデルを学習させ、Serverless Cloud APIを通して実行する

Metaの [V-JEPA 2.1](https://github.com/facebookresearch/vjepa2) 自己教師あり動画モデルを使った [アクション認識](https://docs.roboflow.com/models/ja/supported-models.md#action-recognition)。Roboflowはラベル付き動画セグメントでViT-Bエンコーダーをファインチューニングします。学習済みモデルはアクションのタイムラインを返します。各エントリにはクラス、開始フレームと終了フレーム、信頼度スコアがあります。複数のアクションは時間的に重なる場合があります。

{% hint style="info" %}
V-JEPA 2.1はベータ版で、有料プランが必要です。
{% endhint %}

## V-JEPA 2.1を学習

{% stepper %}
{% step %}

### 動画にラベルを付ける

アクション認識の [プロジェクト](https://docs.roboflow.com/datasets/create-and-upload/create-a-project)、動画をアップロードし、 [動画セグメントにラベルを付ける](https://docs.roboflow.com/datasets/annotate/annotate/annotate-video-segments) アクションクラスを付けます。動画はtrainとvalidの両方の分割に入れてください。test分割は任意です。

<figure><img src="https://1194881119-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2Fcmo9mhfIjYrvFFy1U7dk%2Fuploads%2Fgit-blob-60aeac197b79a3eaa88190f32cbdbff0fc83ab66%2Faction-recognition-annotation-editor.webp?alt=media" alt="Action Recognition video annotation editor with pick up leg, align leg screw, spin leg, and flip table segments on separate timeline rows"><figcaption><p>各セグメントは、動画内でアクションクラスがいつ発生するかを示します。</p></figcaption></figure>
{% endstep %}

{% step %}

### 学習を開始する

バージョンを生成し、 [モデルを学習する](https://docs.roboflow.com/models/ja/xue-xi/train-a-model.md)。学習ピッカーでV-JEPA 2.1を選択してください。

推奨される動画サンプリングは384×384ピクセル、1ウィンドウあたり64フレーム、1秒あたり4フレームです。フレームサイズは16ピクセルの倍数でなければならず、フレーム数は偶数でなければなりません。各フルフレームは切り抜きなしで正方形にリサイズされます。
{% endstep %}

{% step %}

### 停止または再開

検証F1の改善が止まると、学習は自動的に停止します。学習を途中で停止することもできます。現在のエポックを完了し、最良のチェックポイントを保持します。後で最後のチェックポイントから再開できます。
{% endstep %}
{% endstepper %}

学習サマリーには、V-JEPA 2.1の時間またはクレジットの見積もりは表示されません。V-JEPA 2.1モデルによる自動ラベリングはサポートされていません。

## V-JEPA 2.1 API

{% stepper %}
{% step %}

### APIキーを取得する

キーは [RoboflowのAPI設定ページ](https://app.roboflow.com/settings/api) で見つけ、シェルで利用できるようにします：

```bash
export ROBOFLOW_API_KEY="your-key-here"
```

{% endstep %}

{% step %}

### 依存関係をインストールする

インストールする [Inference SDK](https://docs.roboflow.com/deployment/self-hosted/self-hosted)、バージョン1.5.2以降：

```bash
pip install -U inference-sdk
```

{% endstep %}

{% step %}

### モデルを実行する

学習済みモデルのIDを使って動画全体を送信します（ [バージョン、学習、モデル](https://docs.roboflow.com/models/ja/versions-trainings-and-models.md)).

```python
import os
from inference_sdk import InferenceHTTPClient, InferenceConfiguration

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
).configure(InferenceConfiguration(api_key_transport="header"))

# Replace "your-project/1" with your model ID.
result = client.infer_on_video(
    "https://example.com/video.mp4",
    model_id="your-project/1",
)

for segment in result["timeline"]:
    start = segment["start_frame_idx"] / result["source_fps"]
    end = (segment["end_frame_idx"] + 1) / result["source_fps"]
    print(f"{segment['class']}: {start:.1f}s - {end:.1f}s ({segment['confidence']:.2f})")
```

{% endstep %}
{% endstepper %}

各タイムライン項目には `class`, `class_id`, `start_frame_idx`, `end_frame_idx`、および `confidence`があります。フレームインデックスは元の動画を参照し、0から始まり、両端を含みます。同じクラスで接触または重複する区間は1つに結合されます。

`infer_on_video` はローカルファイルパスも受け付けますが、ファイルはbase64で送信されるため、長いクリップにはURLを推奨します。いくつかのクラスだけを報告するには、 `client.configure(InferenceConfiguration(class_filter=["walking"]))` 推論する前に。

{% hint style="info" %}
設定する `api_url` をデプロイ先に合わせて設定してください：

* `https://serverless.roboflow.com` Serverless Cloud API向けです。
* `http://localhost:9001` ローカルの [Inference](https://docs.roboflow.com/deployment/self-hosted/self-hosted) サーバー。
* あなたの [Dedicated Deployment](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments) プライベートエンドポイントのURLです。
  {% endhint %}

## WorkflowでV-JEPA 2.1を使用する

追加する [アクション認識モデル](https://docs.roboflow.com/workflows/blocks/blocks/video-processing/action-recognition-model) ブロックを [Workflow](https://docs.roboflow.com/workflows) に追加して、動画ストリーム上で学習済みV-JEPA 2.1モデルを実行します。このブロックはフレームをバッファし、ストリームの再生に合わせてアクションのタイムラインを出力します。また、 [学習済みモデルを評価する](https://docs.roboflow.com/models/ja/ping-si/evaluate-trained-models.md).

## 重みをダウンロード

学習済みV-JEPA 2.1モデルを `model.safetensors` ファイルとしてダウンロードできます。参照： [モデルの重みをダウンロード](https://docs.roboflow.com/models/ja/moderunomi/download-roboflow-model-weights.md).

## ライセンス

RoboflowのV-JEPA 2.1コードは、MetaのリリースをMITライセンスの下で改変したものです。参照： [モデルのライセンス](https://docs.roboflow.com/models/ja/model-licenses.md#other-models).
