모델 모니터링

Roboflow로 모델 모니터링하는 가이드입니다.

Roboflow의 Model Monitoring 대시보드는 프로토타이핑부터 프로덕션에 이르기까지 모델에 대한 비할 데 없는 가시성을 제공합니다. Model Monitoring을 사용하면 모델이 시간 경과에 따라 어떻게 작동하는지 통찰할 수 있는 상위 수준 통계를 보거나 개별 추론 요청을 확인해 엣지 케이스에서 모델이 어떻게 작동하는지 볼 수 있습니다.

Model Monitoring에 접근하기

Model Monitoring은 일부 요금제에서만 제공됩니다. 최신 정보는 요금 페이지

Model Monitoring 대시보드를 보려면 워크스페이스에서 "Monitoring" 탭을 클릭하세요.

워크스페이스 대시보드

즉시 모델과 관련된 세 가지 통계를 보게 됩니다:

• 총 요청 수: 워크스페이스의 모든 모델에 대해 수행된 총 추론 수

• 평균 신뢰도: 모델이 수행한 모든 예측에 대한 평균 신뢰도입니다.

• 평균 추론 시간: 모든 추론에 대한 평균 추론 시간(이미지 전처리를 포함하여 예측을 생성하는 데 걸린 시간(초))

% 변경 값은 현재 기간과 이전 기간을 기준으로 계산됩니다. 기본적으로 이러한 통계는 지난 주의 데이터를 표시합니다. 그러나 통계 상단의 버튼을 사용해 시간 범위를 수정할 수 있습니다.

Models 표에는 추론이 발생한 모든 모델이 표시되며 해당 항목을 클릭하면 Model Dashboard.

또한 모든 모델에 대한 최근 추론(Recent Inferences) 및 알림 설정.

Model Dashboard

Models 탭에서 특정 모델을 선택해 해당 모델의 데이터를 볼 수 있습니다. 해당 페이지에서는 워크스페이스 개요와 동일한 통계를 모델 단위로 볼 수 있습니다.

여기에서는 통계 외에도 모델의 각 클래스별 검출 수를 보고 다른 클래스와의 분포를 확인할 수 있습니다.

테이블 오른쪽 상단의 "See All Inferences" 버튼을 클릭하면 Inferences Table.

Inferences Table

여기로 이동합니다. 여기에서 모델의 모든 예측 결과를 볼 수 있으며, 추론에 추가된 모든 사용자 지정 메타데이터도 표시됩니다. 추론의 하위 집합을 보려면 테이블 오른쪽 상단의 필터를 사용할 수 있습니다.

추론 세부정보

Inferences Table에서 특정 추론을 상세히 파고들어 더 많은 정보를 볼 수 있습니다. 이 이미지에 표시된 순서대로 분해하면 다음과 같습니다:

1. 이미지: 여기에서 추론된 이미지를 볼 수 있습니다. 참고: 기본적으로 활성화되어 있지 않습니다. 자세한 내용은 추론 이미지 활성화

2. 추론 세부사항: 이 패널에서 추론 요청에 대한 모든 세부 정보와 속성을 볼 수 있습니다. 모든 사용 가능한 필드가 기본적으로 표시되며 일부를 숨기려면 오른쪽 상단의 "Cog" 아이콘을 클릭해 필드를 숨길 수 있습니다. (이 설정은 브라우저에 저장됩니다)

3. 일부 필드에는 사용 가능한 경우 해당 필드를 기준으로 추론을 검색하는 옵션이 있습니다. 강조된 예에서는 동일한 모델의 추론을 검색합니다.

4. 검출: 이 접을 수 있는 패널에는 해당 추론에서 수신된 검출 목록이 표시됩니다. 테이블의 정렬 순서를 선택하려면 "Class" 및 "Confidence" 테이블 헤더를 클릭할 수 있습니다.

5. 다운로드 및 링크 버튼: 여기에서 추론과 연결된 이미지를 다운로드하거나 나중에 참조할 수 있도록 이 추론 세부정보의 링크를 복사할 수 있습니다.

추론 이미지 활성화

Active Learning이나 Dataset Upload로 저장된 이미지는 프로젝트에 이미지를 업로드한 것과 동일하게 계산됩니다. 사용 크레딧, 한도 또는 할당량은 요금제 유형에 따라 적용될 수 있습니다.

Model Monitoring에 추론 이미지가 표시되도록 활성화하는 방법은 두 가지가 있습니다:

• Roboflow Dataset Upload 블록: Workflows에서 "Roboflow Dataset Upload" 블록을 추가할 수 있습니다. 예측 및 예측 이미지를 연결하면 Model Monitoring에 표시됩니다.

• Active Learning(레거시): 레거시 워크스페이스의 경우 프로젝트 페이지에서 "Active Learning" 규칙을 활성화할 수 있습니다:

알림

귀하와 팀의 다른 구성원은 모델에 문제나 이상 현상이 발생할 때 실시간 알림을 구독할 수 있습니다. 예를 들어 모델의 신뢰도가 갑자기 떨어지거나 Inference Server가 다운되어 모델이 작동을 멈추면 팀은 이메일 알림을 받게 됩니다.

알림 페이지에서 자세한 정보를 확인하세요:

알림 설정

사용자 지정 메타데이터

추론에 추가 메타데이터를 첨부하려면 Model Monitoring의 사용자 지정 메타데이터 기능을 사용할 수 있습니다. 사용자 지정 메타데이터를 사용하면 이미지가 촬영된 위치, 예측의 예상 값 등과 같은 정보를 추론에 추가할 수 있습니다. 사용자 지정 메타데이터는 "Recent Inferences" 및 "All Inferences" 보기에서 표시됩니다.

추론 결과에 사용자 지정 메타데이터를 첨부하려면, 다음을 참조하세요: Custom Metadata API 문서.

Model Monitoring API

자동화 및 외부 시스템과의 통합을 위해 모델 모니터링용 API를 사용해 Model Monitoring 통계를 가져올 수 있습니다.

지원되는 배포

Model Monitoring은 Roboflow의 Hosted API 또는 Roboflow Inference Server를 사용하여 이루어진 추론 요청을 지원합니다. 단, Inference Server에 인터넷 액세스가 있어야 합니다. 여기에는 Roboflow의 License Server.

현재로서는 Model Monitoring이 Inference Pipeline을 사용한 추론 요청을 지원하지 않지만, 향후 지원을 추가할 계획입니다.