> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/roboflow/roboflow-jp/train/evaluate-trained-models.md). # 学習済みモデルを評価 Model evaluations では次の内容が表示されます: 1. Production Metrics Explorer では、モデルを実行する最適な confidence threshold を見つけるのに役立ちます。 2. Model Improvement Recommendations では、モデルの精度を高める方法について提案が表示されます。 3. Performance by Class は、モデルがさまざまなクラスをどれだけ正確に識別しているかを示します。 4. Confusion Matrix は、モデルが得意なクラスと苦手なクラスを特定するために使用でき、 5. 画像のクラスターを特定して、モデルの性能が良い領域と悪い領域を見つけられるインタラクティブな vector explorer です。 model evaluation を使うと、モデルの改善点を特定できます。 Model evaluations は、有料ユーザーが Roboflow に学習した、またはアップロードしたすべてのバージョン管理モデルに対して自動的に実行されます。データセットが数百枚の画像であれば評価の完了に数分かかる場合があり、数千枚以上の画像を含む大規模なデータセットでは数時間かかることがあります。 ### 対応している Project Types Model evaluation は、Object Detection、Instance Segmentation、Classification、Semantic Segmentation の Project に対応しています。 Semantic Segmentation では、主要指標は **mIoU** （mean Intersection-over-Union）であり、mAP ではありません。すべての指標（precision、recall、F1）は、インスタンス単位ではなくピクセル単位で算出されます。クラスごとの内訳には、各クラスの IoU、precision、recall、F1、および最適な confidence threshold が表示されます。Confusion Matrix の値は、オブジェクト数ではなくピクセル数を表します。 ### Open Model Evaluation モデルの Confusion Matrix と vector explorer を見つけるには、プロジェクト内の任意の学習済みモデルバージョンを開きます。次に、「View Evaluation」ボタンをクリックします:
ウィンドウが開き、Confusion Matrix とベクター分析を確認できます。 ### Production Metrics Explorer Production Metrics Explorer では、モデルの precision、recall、F1 score を、考えられるすべての confidence threshold で確認できます。この情報はグラフで表示されます。 これらの統計をもとに、Production Metrics Explorer は「optimal confidence」を推奨します。これは、precision / recall / F1 score のトレードオフが最も良くなる threshold です。 model evaluation が完了すると、推奨された optimal confidence threshold がモデルの推論リクエストのデフォルトとして自動的に適用されます。クラスごとの threshold が利用可能な場合はそれも適用され、各クラスに独自の値がない場合は全体の threshold がフォールバックとして使用されます。 ただし、個別の推論リクエストでは、 `confidence` パラメータを明示的に渡すことで、confidence threshold を上書きできます。
スライダーをドラッグすると、異なる confidence threshold における F1 / precision / recall の値を確認できます:
### Model Improvement Recommendations model evaluation の Model Improvement Recommendations セクションには、モデルの精度を高めるための提案が一覧表示されます。これらの改善案は、モデルで計算された Confusion Matrix の結果に基づいています。（Confusion Matrix についての詳細は、このページの後半で説明します）。 Model Improvement Recommendations では、次のような提案ができます: * 多くの false negative を予測するモデルを改善する方法。 * 多くの false positive を予測するモデルを改善する方法。 * どのクラスがよく混同される（誤識別される）か。 * 精度を高めるために、どのクラスにより多くのデータが必要か。 * テストセットまたは validation set が小さすぎる可能性がある場合。 * そのほか。
### Performance by Class Performance by Class のチャートには、データセット内のすべてのクラスについて、正解予測、誤分類、false negative、false positive の数が表示されます。 この情報を使えば、どのクラスをモデルがうまく識別できているか、またどのクラスの識別が苦手かをひと目で確認できます。
データセットに多数のクラスがある場合は、「All Classes」ドロップダウンを開いて強調表示したいクラスを選択することで、チャートを特定のクラスに絞り込めます:
Confidence Threshold スライダーを動かすことで、このチャートが異なる confidence threshold でどう変わるかも確認できます:
既定では、このチャートには推奨される optimal confidence threshold が使用されます。 ### Confusion Matrix Confusion Matrix では、モデルがさまざまなクラスでどれだけうまく機能しているかが表示されます。 Confusion Matrix は、学習済みモデルでテストセットと validation set の画像を実行して算出されます。その後、モデルの結果はデータセットの注釈にある「ground truth」と比較されます。 Confusion Matrix ツールを使うと、次のことを特定できます: * モデルの性能が良いクラス。 * オブジェクトに対してモデルが誤ったクラスを識別しているケース（false positive）。 * 存在しないオブジェクトをモデルが識別してしまうケース（false negative）。 Confusion Matrix の例を次に示します:
モデルが多くのクラスを検出する場合、Confusion Matrix を移動できるスクロールバーが表示されます。 既定では、Confusion Matrix はモデルに対して計算された最適な threshold で実行した場合の性能を表示します。 Confidence Threshold スライダーを使って confidence threshold を調整できます。スライダーを設定すると、Confusion Matrix、precision、recall が更新されます:
Confusion Matrix 内の各ボックスをクリックすると、対応するカテゴリに含まれる画像を確認できます。 たとえば、「False Positive」列の任意のボックスをクリックすると、ground truth データに存在しないオブジェクトが検出された画像を特定できます。
個々の画像をクリックするとインタラクティブ表示に入り、ground truth（注釈）と model predictions を切り替えられます:
「Ground Truth」をクリックすると注釈を確認でき、「Model Predictions」をクリックするとモデルの出力を確認できます。 --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.roboflow.com/roboflow/roboflow-jp/train/evaluate-trained-models.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.