학습된 모델 평가

Model Evaluation을 사용해 테스트 데이터셋에서 모델 성능을 탐색하세요.

모델 평가 내용:

1. 모델을 실행할 최적의 신뢰도 임계값을 찾는 데 도움이 되는 프로덕션 메트릭스 탐색기;

2. 모델의 정확도를 높일 수 있는 방법을 제안하는 모델 개선 권장사항;

3. 모델이 서로 다른 클래스들을 얼마나 잘 식별하는지 보여주는 클래스별 성능;

4. 모델이 잘하거나 어려워하는 특정 클래스를 찾는 데 사용할 수 있는 혼동 행렬;

5. 모델이 잘하거나 못하는 이미지 클러스터를 식별할 수 있는 대화형 벡터 탐색기;

모델 평가는 모델의 개선 영역을 식별하는 데 사용할 수 있습니다.

모델 평가는 유료 사용자가 Roboflow에 학습시키거나 업로드한 모든 버전 관리된 모델에 대해 자동으로 실행됩니다. 수백 장의 이미지로 구성된 데이터셋은 평가 실행에 몇 분이 걸릴 수 있고, 수천 장 이상의 대규모 데이터셋은 몇 시간이 걸릴 수 있습니다.

모델 평가 열기

모델의 혼동 행렬과 벡터 탐색기를 찾으려면 프로젝트에서 학습된 모델 버전 중 하나를 엽니다. 그런 다음 "View Evaluation" 버튼을 클릭하세요:

혼동 행렬과 벡터 분석을 볼 수 있는 창이 열립니다.

프로덕션 메트릭스 탐색기

프로덕션 메트릭스 탐색기는 모든 가능한 신뢰도 임계값에서 모델의 Precision, Recall 및 F1 점수를 보여줍니다. 이 정보는 그래프로 표시됩니다.

이 통계를 사용하여 프로덕션 메트릭스 탐색기는 "optimal confidence"를 권장합니다. 이는 Precision/Recall/F1 점수의 균형이 가장 좋은 임계값입니다.

이 도구를 사용하여 프로덕션에서 모델에 설정할 신뢰도 임계값을 결정하는 데 참고할 수 있습니다.

슬라이더를 드래그하여 서로 다른 신뢰도 임계값에서의 F1/Precision/Recall 값을 확인할 수 있습니다:

모델 개선 권장사항

모델 평가의 모델 개선 권장사항 섹션에는 모델의 정확도를 높이는 방법에 대한 제안이 나열됩니다. 이러한 개선 사항은 모델로 계산된 혼동 행렬의 결과를 기반으로 합니다. (혼동 행렬에 대한 자세한 내용은 이 페이지의 뒷부분을 참조하세요).

모델 개선 권장사항 기능은 다음과 관련된 제안을 할 수 있습니다:

• 많은 False Negative를 예측하는 모델을 개선하는 방법.

• 많은 False Positive를 예측하는 모델을 개선하는 방법.

• 자주 혼동되는(잘못 식별되는) 클래스가 무엇인지.

• 정확도 향상을 위해 더 많은 데이터가 필요한 클래스가 무엇인지.

• 테스트 또는 검증 세트가 너무 작을 수 있는 경우.

• 그 외 등등.

클래스별 성능

클래스별 성능 차트는 데이터셋의 모든 클래스에서 올바른 예측, 오분류, False Negative 및 False Positive가 얼마나 있는지를 보여줍니다.

이 정보를 통해 한눈에 모델이 잘 식별하는 클래스와 모델이 식별하는 데 어려워하는 클래스를 확인할 수 있습니다.

데이터셋에 클래스가 많은 경우 "All Classes" 드롭다운을 열고 강조할 클래스를 선택하여 차트를 특정 클래스에 집중시킬 수 있습니다:

또한 Confidence Threshold 슬라이더를 이동하여 서로 다른 신뢰도 임계값에서 이 차트가 어떻게 변하는지 확인할 수 있습니다:

기본적으로 이 차트는 우리가 권장하는 optimal confidence 임계값을 사용합니다.

혼동 행렬

혼동 행렬은 모델이 서로 다른 클래스에서 얼마나 잘 수행하는지를 보여줍니다.

혼동 행렬은 테스트 및 검증 세트의 이미지를 학습된 모델로 실행하여 계산됩니다. 모델의 결과는 데이터셋 주석의 "ground truth"와 비교됩니다.

혼동 행렬 도구를 사용하면 다음을 식별할 수 있습니다:

• 모델이 잘 수행하는 클래스.

• 모델이 객체에 대해 잘못된 클래스를 식별하는 경우(거짓양성, False Positive).

• 모델이 객체가 없는 곳에서 객체를 식별하는 경우(거짓음성, False Negative).

다음은 예시 혼동 행렬입니다:

모델이 많은 클래스를 감지하는 경우 혼동 행렬을 탐색할 수 있는 스크롤 바가 나타납니다.

기본적으로 혼동 행렬은 모델에 대해 계산된 최적 임계값(optimal threshold)에서 모델이 어떻게 수행하는지를 보여줍니다.

Confidence Threshold 슬라이더를 사용하여 신뢰도 임계값을 조정할 수 있습니다. 슬라이더를 구성하면 혼동 행렬, precision 및 recall이 업데이트됩니다:

혼동 행렬의 각 상자를 클릭하여 해당 범주에 어떤 이미지가 나타나는지 확인할 수 있습니다.

예를 들어 "False Positive" 열의 아무 상자나 클릭하면 ground truth 데이터에 객체가 없었는데 객체가 식별된 이미지들을 확인할 수 있습니다.

개별 이미지를 클릭하면 주석(ground truth)과 모델 예측(Model Predictions) 사이를 전환할 수 있는 대화형 보기로 들어갈 수 있습니다:

"Ground Truth"를 클릭하면 주석을 보고 "Model Predictions"를 클릭하면 모델이 반환한 결과를 볼 수 있습니다.