모델 모니터링

Roboflow의 Model Monitoring 대시보드는 프로토타이핑부터 실제 운영까지 모델에 대한 탁월한 가시성을 제공합니다. Model Monitoring을 통해 모델의 성능을 시간에 따라 파악할 수 있는 고수준 통계를 확인하거나, 개별 추론 요청을 확인하여 모델이 엣지 케이스에서 어떻게 동작하는지 볼 수 있습니다.

Model Monitoring 접근하기

Model Monitoring 대시보드를 보려면 워크스페이스에서 "Monitoring" 탭을 클릭하세요.

워크스페이스 대시보드

즉시 모델과 관련된 세 가지 통계를 볼 수 있습니다:

• 총 요청 수 : 워크스페이스 내 모든 모델에 대한 전체 추론 횟수

• 평균 신뢰도: 모델이 수행한 모든 예측의 평균 신뢰도입니다.

• 평균 추론 시간 : 모든 추론의 평균 추론 시간(이미지 전처리를 포함하여 예측을 생성하는 데 걸린 초 단위 시간)

Models 테이블에는 추론이 수행된 모든 모델이 표시되며, 클릭하면 Model Dashboard.

또한 Recent Inferences(모든 모델에 대한 최근 추론) 및 Alerts 설정.

Model Dashboard

Models 탭에서 특정 모델을 선택하여 해당 데이터만 볼 수 있습니다. 여기서는 Workspace Overview와 동일한 통계를 볼 수 있지만, 한 모델에만 해당됩니다.

여기서는 통계 외에도 모델 내 각 클래스의 탐지 수와 다른 클래스와의 분포를 볼 수 있습니다.

테이블 오른쪽 상단의 "See All Inferences" 버튼을 클릭하면 Inferences Table.

Inferences Table

여기서 모델의 모든 예측 결과를 볼 수 있습니다. 또한 추론에 추가된 커스텀 메타데이터도 확인할 수 있습니다. 추론의 일부만 보고 싶다면 테이블 오른쪽 상단의 필터를 사용할 수 있습니다.

Inference Details

Inferences Table에서 특정 추론을 자세히 확인할 수 있습니다. 이미지를 기준으로 아래와 같이 설명합니다:

1. 이미지: 여기서 추론된 이미지를 볼 수 있습니다. 참고: 기본적으로 활성화되어 있지 않습니다. 자세한 내용은 Enabling Inference Images

2. Inference Details: 이 패널에서는 추론 요청에 대한 모든 세부 정보와 속성을 볼 수 있습니다. 모든 사용 가능한 필드는 기본적으로 표시되지만, 일부를 숨기고 싶다면 오른쪽 상단의 "Cog" 아이콘을 클릭해 필드를 숨길 수 있습니다. (이 설정은 브라우저에 저장됩니다)

3. 일부 필드에서는 해당 필드를 기준으로 추론을 검색할 수 있는 옵션이 제공됩니다. 강조된 예시에서는 동일한 모델에서의 추론을 검색합니다.

4. Detections: 이 접을 수 있는 패널에는 해당 추론에서 받은 탐지 목록이 표시됩니다. "Class"와 "Confidence" 테이블 헤더를 클릭해 정렬 순서를 선택할 수 있습니다.

5. Download & Link 버튼: 여기서 추론과 연결된 이미지를 다운로드하거나, 이 Inference Details의 링크를 복사해 나중에 참고할 수 있습니다.

Enabling Inference Images

Model Monitoring에서 추론 이미지를 표시하려면 두 가지 방법이 있습니다:

• Roboflow Dataset Upload 블록: Workflows에서 "Roboflow Dataset Upload" 블록을 추가할 수 있습니다. 예측 및 예측 이미지를 연결하면 Model Monitoring에 표시됩니다.

• Active Learning(레거시): 레거시 워크스페이스의 경우, 프로젝트 페이지에서 "Active Learning" 규칙을 활성화할 수 있습니다:

Alerting

팀의 다른 구성원과 함께 모델에 문제가 발생하거나 이상이 감지될 때 실시간 알림을 구독할 수 있습니다. 예를 들어, 모델의 신뢰도가 갑자기 떨어지거나 Inference Server가 중단되어 모델이 실행되지 않으면 팀에 이메일 알림이 전송됩니다.

Alerting 페이지에서 자세한 정보를 확인하세요:

Custom Metadata

추론에 추가 메타데이터를 첨부하려면 Model Monitoring의 커스텀 메타데이터 기능을 사용할 수 있습니다. 커스텀 메타데이터를 사용하면 이미지가 촬영된 위치, 예측의 예상 값 등과 같은 정보를 추론에 추가할 수 있습니다. 커스텀 메타데이터는 "Recent Inferences" 및 "All Inferences" 보기에서 확인할 수 있습니다.

추론 결과에 커스텀 메타데이터를 첨부하려면, Custom Metadata API 문서를 참고하세요.

Model Monitoring API

자동화 및 외부 시스템 통합을 위해, model monitoring용 API.

Supported Deployments

Model Monitoring은 Roboflow의 Hosted API 또는 Roboflow Inference Server를 사용하여 수행된 추론 요청을 지원합니다. 단, Inference Server가 인터넷에 연결되어 있어야 합니다. 여기에는 Roboflow의 License Server.