トレーニング済みモデルを評価する

Model Evaluation を使って、テストデータセット上でのモデルの性能を詳しく確認します。

モデル評価は次のことを示します：

モデル評価を使用して、モデルの改善領域を特定できます。

モデル評価は、有料ユーザーがRoboflow上でトレーニングした、またはアップロードしたすべてのバージョン管理されたモデルに対して自動的に実行されます。数百枚の画像のデータセットでは評価の実行に数分、数千枚以上の大規模データセットでは数時間かかる場合があります。

モデルの混同行列とベクターエクスプローラーを見つけるには、プロジェクト内の任意のトレーニング済みモデルバージョンを開いてから、「View Evaluation」ボタンをクリックしてください：

混同行列とベクター分析を表示できるウィンドウが開きます。

実稼働メトリクスエクスプローラーは、モデルのすべての可能なconfidence threshold（信頼度しきい値）におけるPrecision、Recall、およびF1スコアを表示します。この情報はグラフで提示されます。

これらの統計を使用して、実稼働メトリクスエクスプローラーは「optimal confidence（最適信頼度）」を推奨します。これはPrecision/Recall/F1スコアの最良のトレードオフを与えるしきい値です。

このツールを使用して、実稼働でモデルに設定するconfidence threshold（信頼度しきい値）を判断する助けにできます。

スライダーをドラッグして、さまざまなconfidence threshold（信頼度しきい値）でのF1/Precision/Recallの値を確認できます：

モデル評価の「モデル改善の推奨」セクションには、モデルの精度を向上させる方法に関する提案が一覧表示されます。これらの改善は、モデルで計算された混同行列の結果に基づいています。（混同行列の詳細はこのページの後半を参照してください）。

モデル改善の推奨機能は、次に関連する提案を行うことができます：

クラス別のパフォーマンスチャートは、データセット内のすべてのクラスにおける正しい予測、誤分類、false negatives、およびfalse positivesの数を示します。

この情報を使用して、ひと目でモデルがよく識別できるクラスと識別に苦労しているクラスを確認できます。

データセットに多数のクラスがある場合は、「All Classes」ドロップダウンを開いて強調したいクラスを選択することでチャートを特定のクラスに絞れます：

Confidence Threshold（信頼度しきい値）スライダーを動かして、このチャートが異なるしきい値でどのように変化するかも確認できます：

デフォルトでは、このチャートは当社が推奨するoptimal confidence（最適信頼度）しきい値を使用します。

混同行列は、モデルが異なるクラスでどの程度性能を発揮するかを示します。

混同行列は、テストおよび検証セットの画像をトレーニング済みモデルで実行して計算されます。モデルの結果は、その後データセットのアノテーションによる“ground truth”と比較されます。

混同行列ツールを使用すると、以下を特定できます：

以下は混同行列の例です：

モデルが多くのクラスを検出する場合、混同行列をナビゲートするためのスクロールバーが表示されます。

デフォルトでは、混同行列はモデルのために計算されたoptimal threshold（最適しきい値）で実行したときの性能を示します。

Confidence Threshold（信頼度しきい値）スライダーを使用してしきい値を調整できます。スライダーを設定すると混同行列、precision、およびrecallが更新されます：

混同行列内の各ボックスをクリックして、対応するカテゴリに表示される画像を確認できます。

たとえば、「False Positive」列の任意のボックスをクリックすると、ground truth（正解データ）には存在しないのにオブジェクトが識別された画像を特定できます。

個々の画像をクリックすると、アノテーション（ground truth）とモデルの予測を切り替えられるインタラクティブビューに入れます：

「Ground Truth」をクリックしてアノテーションを表示し、「Model Predictions」をクリックしてモデルの返した結果を表示します。

Last updated 3 months ago

Was this helpful?