> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/roboflow/roboflow-ko/train/evaluate-trained-models.md). # 학습된 모델 평가 모델 평가는 다음을 보여줍니다: 1. 프로덕션 메트릭스 익스플로러로, 모델을 실행할 최적의 confidence threshold를 찾는 데 도움이 됩니다; 2. 모델 개선 권장 사항으로, 모델의 정확도를 높이는 방법에 대한 제안을 제공합니다; 3. 클래스별 성능으로, 모델이 서로 다른 클래스를 얼마나 잘 식별하는지 보여줍니다; 4. 혼동 행렬로, 모델이 잘 식별하는 클래스와 어려움을 겪는 특정 클래스를 찾는 데 사용할 수 있으며; 5. 이미지 클러스터 중 모델이 잘하거나 잘 못하는 부분을 식별할 수 있게 해주는 인터랙티브 벡터 익스플로러; 모델 평가를 사용하면 모델의 개선이 필요한 영역을 식별할 수 있습니다. 모델 평가는 유료 사용자가 Roboflow에 학습하거나 업로드한 모든 버전 관리 모델에 대해 자동으로 실행됩니다. 이미지가 수백 장인 데이터셋은 평가가 완료되는 데 몇 분이 걸릴 수 있으며, 수천 장 이상의 이미지가 있는 대규모 데이터셋은 몇 시간 이상 걸릴 수 있습니다. ### 지원되는 프로젝트 유형 모델 평가는 Object Detection, Instance Segmentation, Classification, Semantic Segmentation 프로젝트를 지원합니다. Semantic Segmentation의 주요 지표는 **mIoU** (mean Intersection-over-Union)이며, mAP 대신 사용됩니다. 모든 지표(precision, recall, F1)는 인스턴스별이 아니라 픽셀 수준에서 계산됩니다. 클래스별 세부 내역에는 각 클래스의 IoU, precision, recall, F1, 그리고 최적의 confidence threshold가 표시됩니다. 혼동 행렬 값은 객체 수가 아니라 픽셀 수를 나타냅니다. ### 모델 평가 열기 모델의 혼동 행렬과 벡터 익스플로러를 찾으려면 프로젝트에서 학습된 모델 버전을 하나 엽니다. 그런 다음 "View Evaluation" 버튼을 클릭하세요:
혼동 행렬과 벡터 분석을 볼 수 있는 창이 열립니다. ### 프로덕션 메트릭스 익스플로러 프로덕션 메트릭스 익스플로러는 가능한 모든 confidence threshold에서 모델의 Precision, Recall, F1 점수를 보여줍니다. 이 정보는 그래프로 표시됩니다. 이 통계를 바탕으로 프로덕션 메트릭스 익스플로러는 "optimal confidence"를 추천합니다. 이 threshold는 Precision/Recall/F1 Score의 최적 균형을 제공하는 값입니다. 모델 평가가 완료되면 최적의 confidence threshold가 모델의 추론 요청에 대한 기본값으로 자동 적용됩니다. 클래스별 threshold를 사용할 수 있는 경우 그것도 적용되며, 전역 threshold는 자체 값이 없는 클래스의 대체값으로 사용됩니다. 개별 추론 요청에서 다음을 전달하여 confidence threshold를 여전히 재정의할 수 있습니다. `confidence` 파라미터를 명시적으로.
슬라이더를 드래그하여 서로 다른 confidence threshold에서의 F1/Precision/Recall 값을 볼 수 있습니다:
### 모델 개선 권장 사항 모델 평가의 모델 개선 권장 사항 섹션에는 모델의 정확도를 높이는 방법에 대한 제안이 나열됩니다. 이러한 개선 사항은 모델로 계산한 혼동 행렬의 결과를 기반으로 합니다. (이 페이지의 뒤쪽에서 혼동 행렬에 대한 자세한 정보를 확인하세요). 모델 개선 권장 사항 기능은 다음과 관련된 제안을 제공할 수 있습니다: * 많은 false negative를 예측하는 모델을 개선하는 방법. * 많은 false positive를 예측하는 모델을 개선하는 방법. * 어떤 클래스가 자주 혼동되는지(오인식되는지). * 정확도를 높이기 위해 더 많은 데이터가 필요한 클래스가 무엇인지. * 테스트 또는 validation set의 크기가 너무 작을 수 있는 시점. * 그 외에도.
### 클래스별 성능 클래스별 성능 차트는 데이터셋의 모든 클래스에 걸쳐 올바른 예측, 오분류, false negative, false positive가 얼마나 있는지 보여줍니다. 이 정보를 사용하면 한눈에 모델이 잘 식별할 수 있는 클래스와 모델이 식별을 어려워하는 클래스를 확인할 수 있습니다.
데이터셋에 클래스 수가 많다면 "All Classes" 드롭다운을 열고 강조 표시할 클래스를 선택하여 차트를 특정 클래스에 집중시킬 수 있습니다:
Confidence Threshold 슬라이더를 움직여 서로 다른 confidence threshold에서 이 차트가 어떻게 변하는지도 볼 수 있습니다:
기본적으로 이 차트는 우리가 권장하는 최적의 confidence threshold를 사용합니다. ### 혼동 행렬 혼동 행렬은 모델이 서로 다른 클래스에서 얼마나 잘 수행하는지 보여줍니다. 혼동 행렬은 학습된 모델로 테스트 및 validation set의 이미지를 실행하여 계산됩니다. 그런 다음 모델의 결과를 데이터셋 주석의 "ground truth"와 비교합니다. 혼동 행렬 도구를 사용하면 다음을 식별할 수 있습니다: * 모델이 잘 수행하는 클래스. * 모델이 객체에 대해 잘못된 클래스를 식별하는 경우(false positive). * 실제로는 객체가 없는데 모델이 객체를 식별하는 경우(false negative). 다음은 혼동 행렬 예시입니다:
모델이 감지하는 클래스가 많다면, 혼동 행렬을 탐색할 수 있도록 스크롤 바가 나타납니다. 기본적으로 혼동 행렬은 모델에 대해 계산된 최적 threshold에서 실행했을 때의 성능을 보여줍니다. Confidence Threshold 슬라이더를 사용하여 confidence threshold를 조정할 수 있습니다. 슬라이더를 설정하면 혼동 행렬, precision, recall이 업데이트됩니다:
혼동 행렬의 각 상자를 클릭하면 해당 범주에 어떤 이미지가 나타나는지 볼 수 있습니다. 예를 들어, "False Positive" 열의 아무 상자나 클릭하면 ground truth 데이터에는 없는데 객체가 식별된 이미지를 확인할 수 있습니다.
개별 이미지를 클릭하여 인터랙티브 보기로 들어가면 ground truth(주석)와 모델 예측 사이를 전환할 수 있습니다:
"Ground Truth"를 클릭하면 주석을 보고, "Model Predictions"를 클릭하면 모델이 반환한 결과를 볼 수 있습니다. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.roboflow.com/roboflow/roboflow-ko/train/evaluate-trained-models.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.