ビデオ推論 JSON 出力形式

ビデオ推論プロセスの出力は JSON ファイルです。このページではその形式を説明します。

ファイル構造

JSON出力ファイルには同じ長さの複数のリストが含まれます。各リストのインデックスは、推論対象となったビデオの特定のフレームに対応します。

{
    frame_offsets: [...],
    time_offsets: [...],
    fine_tuned_model_id: [...],
    fine_tuned_model_id: [...],
    clip: [...],
    gaze: [...]
    ...
}

frame_offsetは抽出され各モデルで推論されたビデオフレーム番号を示します。リストは常に 0で始まります。例えば、入力ビデオが1秒あたり24フレームで、かつ infer_fps を秒間4フレームに指定した場合、推論のために選択されるフレームのインデックス（frame_offsets）は [0, 6, 12, 18, 24, 30,...] を選択するのがベストプラクティスです。 infer_fps をビデオのフレームレートの因数にするのが望ましいです。ビデオのフレームレートがinfer_fpsの完全な倍数でない場合、frame_offsetは近似値になります。コストと処理速度の観点から、アプリケーションに対して機能する最小の infer_fps を選んでください。値が大きいほどコストが増加し処理が遅くなります。もし infer_fps がビデオのフレームレートより大きい場合、システムは出力を返しません。

time-offsetsリストは、フレームがビデオ再生時のどの時点に発生するかを示します。各時間のエントリは秒単位で、小数点以下4桁に丸められています。

残りのリストには推論データが含まれます。リストの各要素は辞書（オブジェクト）であるか、該当フレームがモデルによって正常に推論されなかった場合は値が Noneになります。

次のセクションでは、異なるモデルタイプに対して返される結果について詳述します。

物体検出

以下の例は、物体検出モデルの推論出力リストの1要素を示しています。

{
    "time": 0.06994929000006778, 
    "image": {"width": 480, "height": 360}, 
    "predictions": [
        {
            "x": 360.0, 
            "y": 114.0, 
            "width": 36.0, 
            "height": 104.0, 
            "confidence": 0.6243005394935608, 
            "class": "zebra", 
            "class_id": 1
        }
    ]
}

The time フィールドは推論の計算時間を示し、通常は無視して問題ありません。

The image フィールドは入力の寸法を示します。

The predictions リストには各予測クラスの情報が含まれます。

視線検出（Gaze Detection）

以下の例は、注視（gaze）検出モデルの推論出力リストの1要素を示しています。

{
    predictions: [
        {
            face: {
                x: 236,
                y: 208,
                width: 94,
                height: 94,
                confidence: 0.9232424,
                class: "face",
                class_confidence: null,
                class_id: 0,
                tracker_id: null
            },
            }
            landmarks: [
                {
                    x: 207,
                    y: 183
                },
                ... (6 landmarks)
            ]
            yaw: 0.82342350129345,
            pitch: 0.23152452412,      
        }
        ...
    ],
    time: 0.025234234,
    time_face_det: null,
    time_gaze_det: null
}

分類

<coming soon!>

インスタンスセグメンテーション

<coming soon!>\