Evaluate Trained Models

Model Evaluation を使用して、テストデータセット上でのモデルの性能を調査します。

モデル評価は次のことを示します：

モデル評価を使用して、モデルの改善が必要な領域を特定できます。

モデル評価は、有料ユーザーによってRoboflow上でトレーニングされた、またはアップロードされたすべてのバージョン管理されたモデルに対して自動的に実行されます。数百枚の画像のデータセットでは評価の実行に数分、数千枚以上の大規模データセットでは数時間かかる場合があります。

モデルの混同行列とベクターエクスプローラーを見つけるには、プロジェクト内の任意の学習済みモデルバージョンを開いてください。次に、「View Evaluation」ボタンをクリックします：

混同行列とベクター分析を表示できるウィンドウが開きます。

本番メトリクスエクスプローラーは、あらゆるconfidence threshold（信頼度の閾値）におけるモデルのPrecision、Recall、F1スコアを表示します。この情報はグラフで提示されます。

これらの統計を用いて、本番メトリクスエクスプローラーは「optimal confidence（最適な信頼度）」を推奨します。これはPrecision/Recall/F1スコアのトレードオフが最も良くなる閾値です。

このツールを使用して、本番環境でモデルに設定するconfidence thresholdの検討に役立てることができます。

スライダーをドラッグして、さまざまなconfidence thresholdでのF1/Precision/Recallの値を確認できます：

モデル評価のモデル改善の推奨事項セクションには、モデルの精度を上げるための提案が一覧表示されます。これらの改善は、モデルで計算された混同行列の結果に基づいています。（混同行列の詳細はこのページの後半を参照してください）。

モデル改善の推奨機能は以下に関連する提案を行うことがあります：

クラス別パフォーマンスチャートは、データセット内のすべてのクラスにおける正しい予測、誤分類、False Negative、False Positiveの数を示します。

この情報を使って、ひと目でモデルがよく識別できるクラスと、モデルが識別に苦労しているクラスを確認できます。

データセットに多数のクラスがある場合は、「All Classes」ドロップダウンを開いてハイライトしたいクラスを選択することでチャートを特定のクラスに絞ることができます：

Confidence Thresholdスライダーを動かすことで、さまざまな信頼度の閾値でこのチャートがどのように変化するかも確認できます：

デフォルトでは、このチャートは当社が推奨するoptimal confidence threshold（最適な信頼度の閾値）を使用します。

混同行列は、モデルが各クラスでどの程度よく機能しているかを示します。

混同行列は、テストセットおよび検証セットからの画像を学習済みモデルで実行して計算されます。モデルの結果はデータセット注釈の「ground truth（正解）」と比較されます。

混同行列ツールを使って特定できるもの：

以下は混同行列の例です：

モデルが多数のクラスを検出する場合、混同行列をナビゲートするためのスクロールバーが表示されます。

デフォルトでは、混同行列はモデルに対して計算された最適閾値で実行したときのモデルの性能を示します。

Confidence Thresholdスライダーを使って信頼度の閾値を調整できます。スライダーを設定すると混同行列、precision、recallが更新されます：

混同行列の各ボックスをクリックすると、対応するカテゴリに表示される画像を確認できます。

たとえば、「False Positive」列の任意のボックスをクリックすると、ground truth（正解）データでは存在しない場所でオブジェクトが識別された画像を特定できます。

個々の画像をクリックすると、ground truth（あなたの注釈）とModel Predictions（モデルの予測）を切り替えられるインタラクティブビューに入ることができます：

「Ground Truth」をクリックして注釈を表示し、「Model Predictions」をクリックしてモデルが返した結果を表示します。

Last updated 3 months ago

Was this helpful?