データセットバージョンを作成

モデル学習用にデータセットバージョンを作成します。

概要

バージョンとは、データセットのある時点のスナップショットです。各反復でどの画像、前処理、拡張手順が使われたかを正確に記録しておくことで、結果を再現できるよう、このバージョンを保持します。これにより、データパイプラインのバグや変更によるものではなく、モデルの変更に起因する結果であることを確信しながら、さまざまなモデルやフレームワークを横断して科学的にテストできます。

主要概念: ワークスペースとプロジェクトとは？

バージョンが作成されると、その時点で固定されます。つまり、画像、アノテーション、その他のデータの追加/削除など、プロジェクトに対する変更は、それ以前に作成されたバージョンには影響しません。

Webアプリ

データセットのバージョンを作成する方法

データセットのバージョンを作成するには、Roboflow プロジェクトに関連付けられたサイドバーの「Versions」をクリックします。次に、「Generate New Version」をクリックします。

このページでは、train/test/valid の分割を設定し、新しいデータセットバージョンの前処理手順と拡張を指定できます。

適用したい前処理手順と拡張を指定したら、「Generate」をクリックします。これにより新しいデータセットバージョンが生成されます。その後、このデータセットバージョンを使用して Roboflow でモデルをトレーニングできます。また、 データセットをエクスポートする 手動でモデルをトレーニングするために使用できます。

Train/Validation/Test 分割の再調整

バージョン作成プロセス中に、トレーニング、検証、テストセットの分割バランスを再調整することもできます。これを行うには、「Step 2: Train/Test Split」に移動し、「Rebalance」ボタンをクリックします。

推奨の分割は 70/20/10（train/valid/test）で、多くのデータセットにとって堅実な出発点です。いつでも「Reset」をクリックして元に戻せます。

train、validation、test の割合を設定し、画像の再割り当て方法を選択します:

• 「Move as few as possible」は、画像を現在の分割にできるだけ残し、目標割合に達するために必要最小限だけ移動します。

• 「Random shuffle」は、すべての画像を分割全体でランダムに再割り当てします。

• 「Random shuffle per upload batch or annotation job」は、各アップロードバッチまたは完了したアノテーションジョブを個別にシャッフルするため、各バッチとジョブが目標割合に一致します。

再調整を特定のクラスに限定することもできます。クラスを選択すると、そのクラスのみを含む画像に移動対象が制限され、方法は「Move as few as possible」に切り替わります。

大規模データセットでは、再調整はフェーズごとの進捗を伴うバックグラウンドタスクとして実行されます。ダイアログを閉じても処理は続行され、Activity Center で追跡できます。

HTTP API

Train/Validation/Test 分割を再調整する

POST リクエストを送信して Project の分割を再調整します。 /:workspace/:project/splits/rebalance エンドポイントに対して。これによりプロジェクト自体の分割が変更されるため、次に生成するバージョンでは新しいバランスが使用されます。

再調整は常にバックグラウンドタスクとして実行されます。リクエストは 202 Accepted とタスクIDおよびポーリングURLを返します。返された url、または GET /:workspace/asynctasks/:id を taskIdとともに呼び出し、タスクが完了するまで待ちます。

呼び出し元の API キーには project:update スコープと、ワークスペース内で分割を編集する権限が必要です。

リクエスト例

$ curl --location "https://api.roboflow.com/my-workspace/my-project/splits/rebalance?api_key=$ROBOFLOW_API_KEY" \\
--header 'Content-Type: application/json' \\
--data '{
    "splits": { "train": 70, "valid": 20, "test": 10 }
}'

パラメータ

- splits (object) - 必須。train、valid、test の目標値で、それぞれ 0 以上の整数です。値は相対値なので、70/20/10 は 70%/20%/10% を意味します。少なくとも 1 つは 0 より大きくなければなりません。
- mode (string) - 「rebalance」（デフォルト）は、できるだけ少ない画像を移動します。「shuffle」は、すべての画像をランダムに再割り当てします。
- grouping (string) - 「shuffle」モードでのみ使用します。「global」（デフォルト）はプロジェクト全体をシャッフルします。「batch」は各アップロードバッチと完了したアノテーションジョブを個別にシャッフルします。
- classes (array of strings) - 再調整を、これらのクラスのみを含む画像に限定します。他のクラスを含む画像は現在の分割のままです。

レスポンス例

{
    "taskId": "abc123",
    "url": "https://api.roboflow.com/my-workspace/asynctasks/abc123"
}

Python SDK

バージョンは、選択した前処理と拡張手順を適用したプロジェクトのラベル付きデータのスナップショットを固定します。プロジェクトに直接対してではなく、バージョンに対して学習してください。

Project.generate_version() 新しいバージョン番号を返します。これを project.version(...) に渡すと バージョン ハンドルを取得できます。

import roboflow

rf = roboflow.Roboflow(api_key="YOUR_API_KEY")
project = rf.workspace().project("my-detector")

new_version = project.generate_version(settings={
    "preprocessing": {
        "auto-orient": True,
        "resize": {"width": 640, "height": 640, "format": "引き伸ばし"},
    },
    "augmentation": {},
})
version = project.version(new_version)

augmentation.image.versions はバージョンサイズの最大倍率で、プランによって上限が決まります。これより高く設定すると生成は失敗します。参照: 拡張の制限.

以下は設定の完全な例です。各プロパティの詳細な説明は下にあります。

{
    "versionName": "アライグマ",
    "augmentation": {
        "bbblur": { "pixels": 1.5 },
        "bbbrightness": { "brighten": true, "darken": false, "percent": 91 },
        "bbcrop": { "min": 12, "max": 71 },
        "bbexposure": { "percent": 30 },
        "bbflip": { "horizontal": true, "vertical": false },
        "bbnoise": { "percent": 50 },
        "bbninety": { "clockwise": true, "counter-clockwise": false, "upside-down": false },
        "bbrotate": { "degrees": 45 },
        "bbshear": { "horizontal": 45, "vertical": 45 },
        "blur": { "pixels": 1.5 },
        "brightness": { "brighten": true, "darken": false, "percent": 91 },
        "crop": { "min": 12, "max": 71 },
        "cutout": { "count": 26, "percent": 71 },
        "exposure": { "percent": 30 },
        "flip": { "horizontal": true, "vertical": false },
        "hue": { "degrees": 180 },
        "image": { "versions": 32 },
        "mosaic": true,
        "ninety": { "clockwise": true, "counter-clockwise": false, "upside-down": false },
        "noise": { "percent": 50 },
        "rgrayscale": { "percent": 50 },
        "rotate": { "degrees": 45 },
        "saturation": { "percent": 50 },
        "shear": { "horizontal": 45, "vertical": 45 }
    },
    "preprocessing": {
        "auto-orient": true,
        "contrast": { "type": "コントラストストレッチング" },
        "filter-null": { "percent": 50 },
        "filter-tags": { "tag_name": true, "other_tag": false },
        "grayscale": true,
        "isolate": true,
        "remap": { "original_class_name": "new_class_name" },
        "resize": { "width": 200, "height": 200, "format": "引き伸ばし" },
        "static-crop": { "x_min": 10, "x_max": 90, "y_min": 10, "y_max": 90 },
        "tile": { "rows": 2, "columns": 2 }
    }
}

タイル 固定タイルモードも使用できます: {"mode": "fixed_size", "tileWidth": 640, "tileHeight": 640, "overlap": 5, "padding": "黒"} または {"mode": "fixed_aspect", "aspectRatio": 1, "span": "width", "overlap": 5, "padding": "黒"}。参照 Tile.