Model Monitoring
Roboflow의 Model Monitoring 가이드입니다.
Roboflow의 Model Monitoring 대시보드는 프로토타입 단계부터 프로덕션까지, 모델에 대한 탁월한 가시성을 제공합니다. Model Monitoring을 사용하면 전체적인 통계를 확인해 시간이 지남에 따라 모델이 어떻게 동작하는지 파악할 수 있고, 개별 inference 요청까지 살펴보며 엣지 케이스에서 모델이 어떻게 성능을 내는지 볼 수 있습니다.
Model Monitoring deprecated될 예정입니다 그리고 Vision Events로 대체됩니다. 다음을 참조하세요. Vision Events 문서 추가 정보를 확인하세요.
Model Monitoring에 액세스하기
Model Monitoring은 Models 페이지의 하위 탭입니다. 사용하려면 workspace 탐색 바에서 "Models" 드롭다운을 열고 "Model Monitoring"을 선택하거나, Models 페이지에서 직접 "Model Monitoring" 탭으로 이동하세요.
Workspace Dashboard
바로 모델과 관련된 세 가지 통계가 표시됩니다:
총 요청 수: workspace의 모든 모델에 대해 수행된 inference의 총 수
평균 confidence: 모델이 생성한 모든 예측의 평균 confidence.
평균 inference 시간: 모든 inference에 대한 평균 inference 시간(이미지 전처리를 포함해 예측을 생성하는 데 걸린 시간(초))
변화율 % 값은 현재 기간과 이전 기간을 기준으로 합니다. 기본적으로 이 통계는 지난주 데이터를 표시합니다. 하지만 통계 상단의 버튼을 사용해 기간 범위를 수정할 수 있습니다.
Models 표에는 inference가 있는 모든 모델이 표시되며, 이를 클릭하면 다음으로 이동합니다: Model Dashboard.
또한 Recent Inferences(모든 모델 기준)를 확인하는 탭과 Alerts 설정하기.
Model Dashboard
Models 탭에서 특정 모델을 선택해 해당 데이터를 볼 수 있습니다. 그러면 Workspace Overview와 동일한 통계를 보게 되지만, 하나의 모델에만 해당하는 정보입니다.
여기에서는 통계 외에도 모델의 각 class별 detection 수를 확인하고, 다른 class와의 분포를 볼 수 있습니다.
표의 오른쪽 상단에 있는 "See All Inferences" 버튼을 클릭하면 다음으로 이동합니다: Inferences Table.
Inferences Table
여기에서 모델의 모든 예측 결과를 볼 수 있습니다. 또한 inference에 추가된 모든 custom metadata도 확인할 수 있습니다. inference의 일부만 보려면 표 오른쪽 상단의 필터를 사용하세요.
Inference Details
Inferences Table에서 특정 inference로 드릴다운해 더 자세한 내용을 확인할 수 있습니다. 아래 이미지에 표시된 순서대로 살펴보겠습니다:
이미지: 여기에서 inference에 사용된 이미지를 볼 수 있습니다. 참고: 기본적으로는 활성화되어 있지 않습니다. 다음을 참조하세요: Inference Images 활성화
Inference Details: 이 패널에서는 inference 요청에 대한 모든 세부 정보와 속성을 볼 수 있습니다. 사용 가능한 모든 필드는 기본적으로 표시되지만, 일부를 숨기고 싶다면 오른쪽 상단의 "Cog" 아이콘을 클릭해 필드를 숨길 수 있습니다. (이 설정은 브라우저에 유지됩니다)
일부 필드에서는 해당 필드를 기준으로 inference를 검색하는 옵션이 제공될 수 있습니다. 강조 표시된 예시에서는 동일한 모델의 inference를 검색합니다.
Detections: 이 접을 수 있는 패널에는 해당 inference에서 받은 detection 목록이 표시됩니다. 표의 정렬 순서를 선택하려면 "Class"와 "Confidence" 열 머리글을 클릭하면 됩니다.
Download 및 Link 버튼: 여기에서 inference와 연결된 이미지를 다운로드하거나, 나중에 참고할 수 있도록 이 Inference Details의 링크를 복사할 수 있습니다.
Inference Images 활성화
Active Learning 또는 Dataset Upload로 저장된 이미지는 프로젝트에 이미지를 업로드한 것과 동일하게 계산됩니다. 요금제 유형에 따라 credit, limit 또는 quota 사용이 적용될 수 있습니다.
Model Monitoring에 inference 이미지가 표시되도록 하는 방법은 두 가지가 있습니다:
Roboflow Dataset Upload 블록: Workflows에서 "Roboflow Dataset Upload" 블록을 추가할 수 있습니다. predictions와 prediction image를 연결하면 Model Monitoring에 표시됩니다.
Active Learning: 다음을 구성할 수 있습니다 Active Learning Project의 규칙을 사용해 프로덕션 inference 이미지를 자동으로 수집할 수 있습니다.
Alerting
모델에 문제나 이상이 발생하면 귀하와 팀의 다른 구성원들이 실시간 알림을 구독할 수 있습니다. 예를 들어, 모델의 confidence가 갑자기 낮아지거나 Inference Server가 중단되어 모델이 실행을 멈추면 팀에 이메일 알림이 전송됩니다.
Alerting 페이지에서 더 자세한 정보를 확인하세요:
알림Custom Metadata
inference에 추가 메타데이터를 첨부하려면 Model Monitoring의 custom metadata 기능을 사용할 수 있습니다. custom metadata를 사용하면 이미지가 촬영된 위치, 예측의 예상 값 등의 정보를 inference에 추가할 수 있습니다. custom metadata는 "Recent Inferences" 및 "All Inferences" 보기에서 표시됩니다.
inference 결과에 custom metadata를 첨부하려면 다음을 참조하세요: Custom Metadata API 문서.
Model Monitoring API
자동화 및 외부 시스템과의 통합을 위해 다음을 사용하여 Model Monitoring 통계를 가져올 수 있습니다 model monitoring용 API.
지원되는 배포
Model Monitoring은 Inference Server에 인터넷 액세스가 있는 경우 Roboflow의 Hosted API 또는 Roboflow Inference Server를 사용해 만들어진 inference 요청을 지원합니다. 여기에는 Roboflow의 License Server.
현재 Model Monitoring은 Inference Pipeline을 사용해 만들어진 inference 요청을 지원하지 않지만, 가까운 시일 내에 지원을 추가할 계획입니다.
마지막 업데이트
도움이 되었나요?