학습된 모델 평가

Model Evaluation을 사용하여 테스트 데이터셋에서 모델 성능을 탐색하세요.

모델 평가 결과:

1. 프로덕션 메트릭 탐색기(Production metrics explorer)는 모델을 실행할 최적의 confidence 임계값을 찾는 데 도움을 줍니다;

2. 모델 개선 권장 사항(Model improvement recommendations)은 모델의 정확도를 높일 수 있는 제안을 제공합니다;

3. 클래스별 성능(Performance by class)은 모델이 서로 다른 클래스들을 얼마나 잘 식별하는지 보여줍니다;

4. 혼동 행렬(Confusion matrix)은 모델이 잘 수행하거나 어려움을 겪는 특정 클래스를 찾는 데 사용할 수 있습니다;

5. 인터랙티브 벡터 탐색기(interactive vector explorer)는 모델이 잘하거나 못하는 이미지 클러스터를 식별할 수 있게 해줍니다;

모델 평가는 모델의 개선 영역을 식별하는 데 사용할 수 있습니다.

모델 평가는 유료 사용자가 Roboflow에 학습시키거나 업로드한 모든 버전 관리된 모델에 대해 자동으로 실행됩니다. 수백 장의 이미지로 구성된 데이터셋의 경우 평가가 실행되는 데 몇 분이 걸릴 수 있으며, 수천 장 이상의 대규모 데이터셋은 몇 시간이 걸릴 수 있습니다.

모델 평가 열기

모델의 혼동 행렬과 벡터 탐색기를 찾으려면 프로젝트에서 학습된 모델 버전 중 하나를 엽니다. 그런 다음 "View Evaluation" 버튼을 클릭하세요:

혼동 행렬과 벡터 분석을 볼 수 있는 창이 열립니다.

프로덕션 메트릭 탐색기

프로덕션 메트릭 탐색기는 모든 가능한 confidence 임계값에서 모델의 Precision, Recall 및 F1 점수를 보여줍니다. 이 정보는 그래프로 표시됩니다.

이 통계를 사용하여 프로덕션 메트릭 탐색기는 "optimal confidence"를 권장합니다. 이는 Precision/Recall/F1 점수의 균형을 가장 잘 제공하는 임계값입니다.

이 도구는 프로덕션에서 모델에 설정할 confidence 임계값을 결정하는 데 도움이 됩니다.

슬라이더를 끌어 다양한 confidence 임계값에서의 F1/Precision/Recall 값을 확인할 수 있습니다:

모델 개선 권장 사항

모델 평가의 모델 개선 권장 사항 섹션은 모델 정확도를 향상시킬 수 있는 방법에 대한 제안을 나열합니다. 이러한 개선 사항은 모델로 계산된 혼동 행렬 결과를 기반으로 합니다. (혼동 행렬에 대한 자세한 내용은 이 페이지의 뒤쪽을 참조하세요).

모델 개선 권장 사항 기능은 다음과 관련된 제안을 할 수 있습니다:

• 많은 false negative를 예측하는 모델을 개선하는 방법.

• 많은 false positive를 예측하는 모델을 개선하는 방법.

• 자주 혼동되는(잘못 식별되는) 클래스가 무엇인지.

• 정확도를 높이기 위해 더 많은 데이터가 필요한 클래스가 무엇인지.

• 테스트 또는 검증 세트가 너무 작을 수 있는 경우.

• 그리고 그 외 다양한 사항.

클래스별 성능

클래스별 성능 차트는 데이터셋의 모든 클래스에 대해 올바른 예측, 오분류, false negative 및 false positive가 얼마나 있는지를 보여줍니다.

이 정보를 사용하면 한눈에 모델이 잘 식별하는 클래스와 모델이 식별하는 데 어려움을 겪는 클래스를 확인할 수 있습니다.

데이터셋에 클래스가 많은 경우 "All Classes" 드롭다운을 열고 강조할 클래스를 선택하여 차트를 특정 클래스에 집중할 수 있습니다:

Confidence Threshold 슬라이더를 이동하여 서로 다른 confidence 임계값에서 이 차트가 어떻게 변하는지도 볼 수 있습니다:

기본적으로 이 차트는 우리가 권장하는 optimal confidence 임계값을 사용합니다.

혼동 행렬

혼동 행렬은 모델이 서로 다른 클래스에서 얼마나 잘 수행하는지를 보여줍니다.

혼동 행렬은 학습된 모델로 테스트 및 검증 세트의 이미지를 실행하여 계산됩니다. 모델의 결과는 데이터셋 주석의 "ground truth"와 비교됩니다.

혼동 행렬 도구로 다음을 식별할 수 있습니다:

• 모델이 잘 수행하는 클래스.

• 모델이 객체에 대해 잘못된 클래스를 식별하는 경우(false positives).

• 모델이 객체가 없는 곳에서 객체를 식별하는 사례(false negatives).

다음은 예시 혼동 행렬입니다:

모델이 많은 클래스를 감지하는 경우 스크롤바가 나타나 혼동 행렬을 탐색할 수 있습니다.

기본적으로 혼동 행렬은 모델에 대해 계산된 optimal threshold에서 실행될 때의 성능을 보여줍니다.

Confidence Threshold 슬라이더를 사용해 confidence 임계값을 조정할 수 있습니다. 슬라이더를 구성하면 혼동 행렬, precision 및 recall이 업데이트됩니다:

혼동 행렬의 각 상자를 클릭하여 해당 범주에 나타나는 이미지를 볼 수 있습니다.

예를 들어, "False Positive" 열의 어떤 상자든 클릭하면 ground truth 데이터에 없는데 객체가 식별된 이미지를 확인할 수 있습니다.

개별 이미지를 클릭하면 주석(ground truth)과 모델 예측(Model Predictions) 사이를 전환할 수 있는 인터랙티브 뷰로 들어갈 수 있습니다:

"Ground Truth"를 클릭하면 주석을 보고 "Model Predictions"를 클릭하면 모델이 반환한 결과를 볼 수 있습니다.