トレーニング済みモデルを評価

モデル評価を使って、テストデータセットでのモデルの性能を調べます。

モデル評価の結果は次のとおりです：

モデル評価を使用して、モデルの改善点を特定できます。

モデル評価は、有料ユーザーがトレーニングしたすべてのモデルで自動的に実行されます。数百枚の画像のデータセットでは評価に数分かかる場合があり、数千枚以上の大規模データセットでは数時間かかる場合があります。

モデルの混同行列やベクトルエクスプローラーを見つけるには、プロジェクト内の任意のトレーニング済みモデルバージョンを開き、「評価を表示」ボタンをクリックします：

ウィンドウが開き、混同行列とベクトル分析を表示できます。

本番用メトリクスエクスプローラーは、あらゆる信頼度しきい値でのモデルの適合率（Precision）、再現率（Recall）、F1スコアをグラフで表示します。

これらの統計情報を使用して、本番用メトリクスエクスプローラーは「最適な信頼度」を推奨します。これは、最も良いPrecision/Recall/F1スコアのバランスが得られるしきい値です。

このツールを使って、本番環境で設定するモデルの信頼度しきい値の参考にできます。

スライダーをドラッグして、異なる信頼度しきい値でのF1/Precision/Recallの値を確認できます：

モデル評価のモデル改善推奨事項セクションには、モデルの精度を向上させる方法についての提案がリストされています。これらの改善案は、モデルで計算された混同行列の結果に基づいています。（このページの後半で混同行列の詳細をご覧ください。）

モデル改善推奨機能は、次のような提案を行うことができます：

クラスごとのパフォーマンスチャートは、データセット内のすべてのクラスにおける正解予測、誤分類、偽陰性、偽陽性の数を示します。

この情報を使って、どのクラスをモデルがうまく識別でき、どのクラスが苦手かを一目で確認できます。

データセットに多くのクラスがある場合、「すべてのクラス」ドロップダウンを開いて、ハイライトしたいクラスを選択することで、特定のクラスにチャートを絞り込むことができます：

また、信頼度しきい値スライダーを動かすことで、このチャートが異なるしきい値でどのように変化するかを見ることもできます：

デフォルトでは、このチャートは推奨される最適な信頼度しきい値を使用します。

混同行列は、モデルが異なるクラスでどれだけうまく機能しているかを示します。

混同行列は、テストセットや検証セットの画像をトレーニング済みモデルで実行して計算されます。モデルの結果は、データセットのアノテーションによる「正解」と比較されます。

混同行列ツールを使うと、次のことが特定できます：

以下は混同行列の例です：

モデルが多くのクラスを検出する場合、混同行列をナビゲートできるスクロールバーが表示されます。

デフォルトでは、混同行列はモデルに対して計算された最適なしきい値でのパフォーマンスを表示します。

信頼度しきい値スライダーを使ってしきい値を調整できます。スライダーを設定すると、混同行列、適合率、再現率が更新されます：

混同行列の各ボックスをクリックすると、対応するカテゴリに表示される画像を確認できます。

たとえば、「偽陽性」列の任意のボックスをクリックすると、正解データに存在しないオブジェクトが識別された画像を特定できます。

個々の画像をクリックすると、インタラクティブビューに入り、正解（アノテーション）とモデル予測を切り替えて表示できます：

「正解」をクリックするとアノテーションが、「モデル予測」をクリックするとモデルの出力が表示されます。

Last updated 16 days ago

Was this helpful?