학습된 모델 평가

모델 평가 결과는 다음과 같습니다:

1. 프로덕션 메트릭스 탐색기는 모델을 실행할 최적의 신뢰도 임계값을 찾는 데 도움이 됩니다;

2. 모델 개선 권장 사항은 모델의 정확도를 높일 수 있는 방법에 대한 제안을 제공합니다;

3. 클래스별 성능은 모델이 다양한 클래스를 얼마나 잘 식별하는지 보여줍니다;

4. 혼동 행렬을 사용하여 모델이 잘하는 클래스와 어려워하는 클래스를 찾을 수 있습니다;

5. 인터랙티브 벡터 탐색기를 통해 모델이 잘하거나 못하는 이미지 클러스터를 식별할 수 있습니다;

모델 평가를 사용하여 모델의 개선이 필요한 영역을 식별할 수 있습니다.

모델 평가는 유료 사용자가 학습한 모든 모델에 대해 자동으로 실행됩니다. 수백 장의 이미지가 있는 데이터셋은 평가에 몇 분이 걸릴 수 있으며, 수천 장 이상의 대형 데이터셋은 몇 시간이 걸릴 수 있습니다.

모델 평가 열기

모델의 혼동 행렬과 벡터 탐색기를 찾으려면, 프로젝트에서 학습된 모델 버전을 열고 "평가 보기" 버튼을 클릭하세요:

창이 열리면 혼동 행렬과 벡터 분석을 볼 수 있습니다.

프로덕션 메트릭스 탐색기

프로덕션 메트릭스 탐색기는 모든 가능한 신뢰도 임계값에서 모델의 정밀도, 재현율, F1 점수를 보여줍니다. 이 정보는 그래프로 제공됩니다.

이 통계를 사용하여 프로덕션 메트릭스 탐색기는 "최적 신뢰도"를 추천합니다. 이는 정밀도/재현율/F1 점수의 균형이 가장 좋은 임계값입니다.

이 도구를 사용하여 프로덕션에서 모델에 설정할 신뢰도 임계값을 결정할 수 있습니다.

슬라이더를 드래그하여 다양한 신뢰도 임계값에서 F1/정밀도/재현율 값을 볼 수 있습니다:

모델 개선 권장 사항

모델 평가의 모델 개선 권장 사항 섹션에는 모델의 정확도를 높일 수 있는 방법에 대한 제안이 나열됩니다. 이러한 개선 사항은 모델로 계산된 혼동 행렬 결과를 기반으로 합니다. (이 페이지에서 혼동 행렬에 대한 자세한 정보를 확인할 수 있습니다.)

모델 개선 권장 사항 기능은 다음과 관련된 제안을 할 수 있습니다:

• 거짓 음성이 많은 모델을 개선하는 방법.

• 거짓 양성이 많은 모델을 개선하는 방법.

• 자주 혼동되는(잘못 식별되는) 클래스.

• 정확도 향상을 위해 더 많은 데이터가 필요한 클래스.

• 테스트 또는 검증 세트가 너무 작을 수 있는 경우.

• 그리고 그 외에도 더 있습니다.

클래스별 성능

클래스별 성능 차트는 데이터셋의 모든 클래스에서 올바른 예측, 오분류, 거짓 음성, 거짓 양성의 수를 보여줍니다.

이 정보를 통해 한눈에 모델이 잘 식별하는 클래스와 어려워하는 클래스를 확인할 수 있습니다.

데이터셋에 클래스가 많을 경우, "모든 클래스" 드롭다운을 열고 강조할 클래스를 선택하여 특정 클래스에 차트를 집중할 수 있습니다:

또한 신뢰도 임계값 슬라이더를 이동하여 다양한 신뢰도 임계값에서 이 차트가 어떻게 변하는지 볼 수 있습니다:

기본적으로 이 차트는 추천하는 최적 신뢰도 임계값을 사용합니다.

혼동 행렬

혼동 행렬은 모델이 다양한 클래스에서 얼마나 잘 동작하는지 보여줍니다.

혼동 행렬은 테스트 및 검증 세트의 이미지를 학습된 모델로 실행하여 계산됩니다. 모델의 결과는 데이터셋 주석의 "정답"과 비교됩니다.

혼동 행렬 도구를 사용하면 다음을 식별할 수 있습니다:

• 모델이 잘 동작하는 클래스.

• 모델이 객체에 대해 잘못된 클래스를 식별하는 경우(거짓 양성).

• 모델이 객체가 없는 곳에서 객체를 식별하는 경우(거짓 음성).

다음은 혼동 행렬의 예시입니다:

모델이 많은 클래스를 감지하면, 혼동 행렬을 탐색할 수 있도록 스크롤 바가 나타납니다.

기본적으로 혼동 행렬은 모델에 대해 계산된 최적 임계값에서 모델의 성능을 보여줍니다.

신뢰도 임계값 슬라이더를 사용하여 신뢰도 임계값을 조정할 수 있습니다. 슬라이더를 조정하면 혼동 행렬, 정밀도, 재현율이 업데이트됩니다:

혼동 행렬의 각 상자를 클릭하여 해당 카테고리에 속하는 이미지를 볼 수 있습니다.

예를 들어, "거짓 양성" 열의 아무 상자나 클릭하여 정답 데이터에 객체가 없는데도 객체가 식별된 이미지를 확인할 수 있습니다.

개별 이미지를 클릭하면 인터랙티브 뷰로 들어가 정답(주석)과 모델 예측을 전환하여 볼 수 있습니다:

"정답"을 클릭하면 주석을, "모델 예측"을 클릭하면 모델의 결과를 볼 수 있습니다.