# Model Monitoring

Roboflow의 Model Monitoring 대시보드는 프로토타이핑부터 프로덕션에 이르기까지 모델에 대한 탁월한 가시성을 제공합니다. Model Monitoring을 사용하면 상위 수준의 통계를 확인해 시간이 지남에 따라 모델이 어떻게 성능을 내고 있는지 파악할 수 있으며, 개별 inference 요청을 직접 확인해 엣지 케이스에서 모델이 어떻게 동작하는지도 볼 수 있습니다.

{% hint style="info" %}
Model Monitoring **는 사용 중단(deprecated)될 예정이며** Vision Events로 대체됩니다. 자세한 내용은 [Vision Events 문서](https://docs.roboflow.com/roboflow/roboflow-ko/deploy/vision-events) 를 참조하세요.
{% endhint %}

## Model Monitoring에 접근하기

Model Monitoring 대시보드를 보려면 workspace에서 "Monitoring" 탭을 클릭하세요.

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-08439e11cc4c936bde7187adb58b72a71515f2c5%2Fimage.png?alt=media" alt="" width="312"><figcaption></figcaption></figure>

## Workspace Dashboard

즉시 모델과 관련된 세 가지 통계를 확인할 수 있습니다:

* **총 요청 수**: workspace의 모든 모델에 대해 수행된 inference의 총 횟수
* **평균 confidence:** 모든 모델이 만든 모든 prediction의 평균 confidence입니다.
* **평균 inference 시간**: 모든 inference의 평균 inference 시간(이미지 전처리를 포함해 prediction을 생성하는 데 걸린 초 단위 시간)

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-00a88ae4ffc0ffb5c7cc150479aec32f8dc2c12d%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
% 변화 값은 현재 기간과 이전 기간을 기준으로 합니다. 기본적으로 이 통계는 지난 1주일의 데이터를 표시합니다. 하지만 통계 상단의 버튼을 사용해 시간 범위를 수정할 수 있습니다.

<img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-b3cf0d46eaca184d244c4208cae0656f99bde61a%2Fimage.png?alt=media" alt="" data-size="original">
{% endhint %}

Models 표에는 inference가 수행된 모든 모델이 표시되며, 해당 모델을 클릭하면 [Model Dashboard](#model-dashboard).

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-ecac74de3be1e2b8edb1a48dd17c3a89edf86155%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

로 이동합니다. 또한 Recent Inferences(모든 모델에 걸친)와 [Alerts 설정](#alerting).

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-3c8a1d2992fe4573c7b9cdf93411d5ff18171c76%2Fimage.png?alt=media" alt="" width="375"><figcaption></figcaption></figure>

## Model Dashboard

탭도 열 수 있습니다.

Models 탭에서 특정 모델을 선택해 해당 데이터를 볼 수 있습니다. 그러면 Workspace Overview와 동일한 통계를 볼 수 있지만, 하나의 모델에만 해당하는 정보가 표시됩니다.

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-0baf9cb0b75c74c2b341606235b7b5cd89bd9e59%2FScreenshot%202024-05-23%20at%2020.44.57.png?alt=media" alt=""><figcaption></figcaption></figure>

여기에서는 통계 외에도 모델의 각 class별 detection 수를 볼 수 있고, 다른 class와의 분포도 확인할 수 있습니다. [표 오른쪽 상단의 "See All Inferences" 버튼을 클릭하면](#inferences-table).

## 표 오른쪽 상단의 "See All Inferences" 버튼을 클릭하면

Inferences Table

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-c0e48d4b2d25fea504b7eb38ecfc3a0ce664c5b5%2FScreenshot%202024-05-23%20at%2020.50.13.png?alt=media" alt=""><figcaption></figcaption></figure>

### 로 이동합니다. 여기에서 모델의 모든 prediction 결과를 볼 수 있습니다. 또한 inference에 추가된 사용자 지정 metadata도 확인할 수 있습니다. inference의 일부만 보려면 표 오른쪽 상단의 필터를 사용할 수 있습니다.

Inference Details

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-ce546fe2b1798e05122b3de07944b699094213fc%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

1. **Inferences Table에서 특정 inference를 자세히 파고들어 추가 정보를 확인할 수 있습니다. 이 이미지에 표시된 순서대로 살펴보겠습니다:** Image: *여기에서 inference된 이미지를 볼 수 있습니다.* [*참고: 기본적으로는 활성화되어 있지 않습니다. 다음을 참조하세요*](#enabling-inference-images)
2. **Inference Images 활성화** Inference Details:
3. 이 패널에서는 inference 요청의 모든 세부 정보와 속성을 볼 수 있습니다. 사용 가능한 모든 필드는 기본적으로 표시되지만, 일부를 숨기고 싶다면 오른쪽 상단의 "Cog" 아이콘을 클릭해 필드를 숨길 수 있습니다. (이 설정은 브라우저에 유지됩니다)
4. **일부 필드에서는 가능한 경우 해당 필드를 기준으로 inference를 검색하는 옵션이 제공됩니다. 강조 표시된 예시에서는 같은 모델의 inference를 검색합니다.** Detections:
5. **이 접을 수 있는 패널에는 해당 inference에서 받은 detection 목록이 표시됩니다. 표의 정렬 순서를 선택하려면 "Class" 및 "Confidence" 표 헤더를 클릭할 수 있습니다.** 다운로드 및 링크 버튼:

### 참고: 기본적으로는 활성화되어 있지 않습니다. 다음을 참조하세요

{% hint style="info" %}
여기에서 inference와 연결된 이미지를 다운로드하거나 나중에 참조할 수 있도록 이 Inference Details로 연결되는 링크를 복사할 수 있습니다.
{% endhint %}

Active Learning 또는 Dataset Upload로 저장된 이미지는 프로젝트에 이미지를 업로드한 것과 동일하게 계산됩니다. 요금제 유형에 따라 크레딧, 제한 또는 할당량 사용이 적용될 수 있습니다.

* **Model Monitoring에 inference 이미지를 표시하도록 활성화하는 방법은 두 가지가 있습니다:** Roboflow Dataset Upload block:

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-2e0fe2213137512f9d235bb38ecce7c3463998ef%2Fimage.png?alt=media" alt="" width="151"><figcaption></figcaption></figure>

* **Workflows에서 "Roboflow Dataset Upload" 블록을 추가할 수 있습니다. prediction과 prediction 이미지를 연결하면 Model Monitoring에 표시됩니다.** Active Learning(레거시):

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-2dd831a903dc127197efcec47e81026339de962c%2Fimage.png?alt=media" alt="" width="198"><figcaption></figcaption></figure>

## 레거시 workspace의 경우 프로젝트 페이지에서 "Active Learning" 규칙을 활성화할 수 있습니다:

알림

모델에서 문제나 이상 징후가 발생하면 귀하와 팀의 다른 구성원은 실시간 알림을 구독할 수 있습니다. 예를 들어 모델의 confidence가 갑자기 낮아지거나 Inference Server가 다운되어 모델이 중지되면 팀에 이메일 알림이 전송됩니다.

{% content-ref url="model-monitoring/alerting" %}
[alerting](https://docs.roboflow.com/roboflow/roboflow-ko/deploy/model-monitoring/alerting)
{% endcontent-ref %}

## 자세한 내용은 Alerting 페이지에서 확인하세요:

사용자 지정 metadata

inference에 추가 metadata를 연결하려면 Model Monitoring의 사용자 지정 metadata 기능을 사용할 수 있습니다. 사용자 지정 metadata를 사용하면 이미지가 촬영된 위치, prediction의 예상 값 등의 정보를 inference에 추가할 수 있습니다. 사용자 지정 metadata는 "Recent Inferences" 및 "All Inferences" 보기에서 표시됩니다. [inference 결과에 사용자 지정 metadata를 연결하려면](https://docs.roboflow.com/api-reference/model-monitoring/custom-metadata) Custom Metadata API 문서

## 를 참조하세요.

Model Monitoring API [자동화 및 외부 시스템과의 통합을 위해 다음을 사용하여 Model Monitoring 통계를 가져올 수 있습니다](https://app.gitbook.com/s/e5GEiPeDoFksvZv1vH3A/rest-api/model-monitoring).

## 모델 모니터링용 API

를. [Supported Deployments](https://blog.roboflow.com/roboflow-license-server/).

{% hint style="info" %}
현재 Model Monitoring은 Roboflow의 Hosted API 또는 Roboflow Inference Server를 사용하여 수행된 inference 요청을 지원합니다. 단, Inference Server에 인터넷 액세스가 있어야 합니다. 여기에는 Roboflow의
{% endhint %}