훈련된 모델 평가

모델 평가는 다음을 보여줍니다:

1. Production Metrics Explorer: 모델을 실행할 최적의 Confidence Threshold를 찾는 데 도움이 됩니다;

2. Model Improvement Recommendations: 모델 정확도를 높이는 방법에 대한 제안을 제공합니다;

3. Performance by Class: 모델이 다양한 클래스를 얼마나 잘 식별하는지 보여줍니다;

4. Confusion Matrix: 모델이 잘하는 클래스와 어려움을 겪는 특정 클래스를 찾는 데 사용할 수 있으며, 그리고;

5. 대화형 vector explorer: 모델이 잘하거나 잘 못하는 이미지 클러스터를 식별할 수 있게 해 줍니다;

모델 평가를 사용하여 모델의 개선이 필요한 영역을 파악할 수 있습니다.

유료 사용자가 Roboflow에 업로드했거나 Roboflow에서 학습한 모든 버전된 모델에 대해 Model Evaluation이 자동으로 실행됩니다. 수백 장 규모의 데이터셋은 평가 실행에 몇 분, 수천 장 이상의 대규모 데이터셋은 몇 시간 걸릴 수 있습니다.

Open Model Evaluation

모델의 Confusion Matrix와 vector explorer를 찾으려면, 귀하의 Project에서 학습된 아무 모델 버전이나 여세요. 그런 다음 "View Evaluation" 버튼을 클릭하세요:

Confusion Matrix와 벡터 분석을 볼 수 있는 창이 열립니다.

Production Metrics Explorer

Production Metrics Explorer는 가능한 모든 Confidence Threshold에서 모델의 Precision, Recall, F1 score를 보여줍니다. 이 정보는 그래프로 표시됩니다.

이 통계를 바탕으로, Production Metrics Explorer는 "optimal confidence"를 추천합니다. 이는 Precision/Recall/F1 Score 간 최적의 트레이드오프를 제공하는 임계값입니다.

이 도구는 운영 환경에서 모델에 설정할 Confidence Threshold를 결정하는 데 참고할 수 있습니다.

슬라이더를 드래그하여 다양한 Confidence Threshold에서의 F1/Precision/Recall 값을 확인할 수 있습니다:

Model Improvement Recommendations

Model Evaluation의 Model Improvement Recommendations 섹션에는 모델 정확도를 높이는 방법에 대한 제안이 나열됩니다. 이러한 개선 사항은 귀하의 모델로 계산한 Confusion Matrix 결과를 기반으로 합니다. (Confusion Matrix에 대한 자세한 정보는 이 페이지의 뒷부분을 참조하세요).

Model Improvement Recommendations 기능은 다음과 관련된 제안을 제공합니다:

• 거짓 음성을 많이 예측하는 모델을 개선하는 방법.

• 거짓 양성을 많이 예측하는 모델을 개선하는 방법.

• 자주 혼동(잘못 식별)되는 클래스.

• 정확도를 높이기 위해 더 많은 데이터가 필요한 클래스.

• 테스트 또는 검증 세트가 너무 작을 수 있는 경우.

• 그 외에도 다양합니다.

Performance by Class

Performance by Class 차트는 데이터셋의 모든 클래스에서 올바른 예측 수, 오분류 수, 거짓 음성 수, 거짓 양성 수를 보여줍니다.

이 정보를 통해 한눈에 모델이 잘 식별하는 클래스와 식별에 어려움을 겪는 클래스를 확인할 수 있습니다.

데이터셋에 클래스가 많다면, "All Classes" 드롭다운을 열고 강조하려는 클래스를 선택하여 차트를 특정 클래스에 집중시킬 수 있습니다:

Confidence Threshold 슬라이더를 움직여 다양한 Confidence Threshold에서 이 차트가 어떻게 변하는지도 확인할 수 있습니다:

기본적으로 이 차트는 권장되는 최적의 Confidence Threshold를 사용합니다.

Confusion Matrix

Confusion Matrix는 모델이 다양한 클래스에서 얼마나 잘 수행하는지를 보여줍니다.

Confusion Matrix는 학습된 모델로 테스트 및 검증 세트의 이미지를 실행하여 계산됩니다. 그런 다음 모델의 결과를 데이터셋 주석의 "ground truth"와 비교합니다.

Confusion Matrix 도구를 사용하면 다음을 식별할 수 있습니다:

• 모델이 잘 수행하는 클래스.

• 모델이 객체를 잘못된 클래스로 식별하는(거짓 양성) 클래스.

• 객체가 존재하지 않는데 객체를 식별하는 경우(거짓 음성).

다음은 예시 Confusion Matrix입니다:

모델이 감지하는 클래스가 많다면, Confusion Matrix를 탐색할 수 있도록 스크롤바가 표시됩니다.

기본적으로 Confusion Matrix는 모델에 대해 계산된 최적 임계값에서 실행될 때 모델이 어떻게 수행되는지를 보여줍니다.

Confidence Threshold 슬라이더를 사용하여 Confidence Threshold를 조정할 수 있습니다. 슬라이더를 조절하면 Confusion Matrix, precision, recall이 업데이트됩니다:

Confusion Matrix의 각 상자를 클릭하여 해당 범주에 포함된 이미지가 무엇인지 확인할 수 있습니다.

예를 들어, "False Positive" 열의 아무 상자나 클릭하면 ground truth 데이터에 객체가 없는데도 객체가 식별된 이미지를 확인할 수 있습니다.

개별 이미지를 클릭하면 대화형 보기로 들어가 "Ground Truth"(귀하의 주석)와 "Model Predictions" 사이를 토글할 수 있습니다:

"Ground Truth"를 클릭하면 주석을, "Model Predictions"를 클릭하면 모델이 반환한 결과를 볼 수 있습니다.