# Model Monitoring

Roboflow의 Model Monitoring 대시보드는 프로토타이핑부터 프로덕션에 이르기까지 모델 전반에 걸쳐 탁월한 가시성을 제공합니다. Model Monitoring을 사용하면 높은 수준의 통계를 통해 시간이 지남에 따라 모델이 어떻게 성능을 내고 있는지 파악할 수 있으며, 개별 inference 요청을 확인하여 엣지 케이스에서 모델이 어떻게 작동하는지도 볼 수 있습니다.

{% hint style="info" %}
Model Monitoring **는 사용 중단될 예정이며** Vision Events로 대체됩니다. 자세한 내용은 [Vision Events 문서](https://docs.roboflow.com/roboflow/roboflow-ko/deploy/vision-events) 를 참고하세요.
{% endhint %}

## Model Monitoring 접근하기

Model Monitoring 대시보드를 보려면 workspace에서 "Monitoring" 탭을 클릭하세요.

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-08439e11cc4c936bde7187adb58b72a71515f2c5%2Fimage.png?alt=media" alt="" width="312"><figcaption></figcaption></figure>

## Workspace Dashboard

즉시, 모델과 관련된 세 가지 통계가 표시됩니다:

* **총 요청 수**: workspace의 모든 모델에 대해 수행된 inference의 총 개수
* **평균 confidence:** 모델이 수행한 모든 예측의 평균 confidence입니다.
* **평균 inference 시간**: 모든 inference의 평균 inference 시간(이미지 전처리를 포함하여 예측을 생성하는 데 걸린 시간(초))

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-00a88ae4ffc0ffb5c7cc150479aec32f8dc2c12d%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
% 변경 값은 현재 기간과 이전 기간을 기준으로 합니다. 기본적으로 이 통계는 지난주 데이터를 표시합니다. 그러나 통계 상단의 버튼을 사용하여 기간을 수정할 수 있습니다.

<img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-b3cf0d46eaca184d244c4208cae0656f99bde61a%2Fimage%20(4)%20(8).png?alt=media" alt="" data-size="original">
{% endhint %}

Models 테이블에는 inference가 수행된 모든 모델이 표시되며, 이를 클릭하면 [Model Dashboard](#model-dashboard).

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-ecac74de3be1e2b8edb1a48dd17c3a89edf86155%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

로 이동합니다. 또한 Recent Inferences(모든 모델에 걸쳐)를 보고 [알림 설정](#alerting).

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-3c8a1d2992fe4573c7b9cdf93411d5ff18171c76%2Fimage.png?alt=media" alt="" width="375"><figcaption></figcaption></figure>

## Model Dashboard

Models 탭에서 특정 모델을 선택하여 데이터를 볼 수 있습니다. 그러면 Workspace Overview와 동일한 통계가 표시되지만, 하나의 모델에 대한 정보만 보여줍니다.

여기서는 통계 외에도 모델의 각 클래스별 검출 수를 확인하고, 다른 클래스 대비 분포도 볼 수 있습니다.

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-0baf9cb0b75c74c2b341606235b7b5cd89bd9e59%2FScreenshot%202024-05-23%20at%2020.44.57.png?alt=media" alt=""><figcaption></figcaption></figure>

테이블 오른쪽 상단의 "See All Inferences" 버튼을 클릭하면 [Inferences Table](#inferences-table).

## Inferences Table

로 이동합니다. 여기에서 모델의 모든 예측 결과를 볼 수 있습니다. 또한 inference에 추가된 사용자 지정 메타데이터도 볼 수 있습니다. 일부 inference만 보려면 테이블 오른쪽 상단의 필터를 사용할 수 있습니다.

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-c0e48d4b2d25fea504b7eb38ecfc3a0ce664c5b5%2FScreenshot%202024-05-23%20at%2020.50.13.png?alt=media" alt=""><figcaption></figcaption></figure>

### Inference Details

Inferences Table에서 특정 inference를 자세히 살펴보고 더 많은 세부 정보를 확인할 수 있습니다. 이 이미지에 표시된 순서대로 살펴보겠습니다:

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-ce546fe2b1798e05122b3de07944b699094213fc%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>

1. **이미지:** 여기에서 inference가 수행된 이미지를 볼 수 있습니다. *참고: 기본적으로는 활성화되어 있지 않습니다. 다음을 참고하세요* [*Inference Images 활성화*](#enabling-inference-images)
2. **Inference Details:** 이 패널에서는 inference 요청에 대한 모든 세부 정보와 속성을 볼 수 있습니다. 사용 가능한 모든 필드는 기본적으로 표시되지만, 일부를 숨기고 싶다면 오른쪽 상단의 "Cog" 아이콘을 클릭하여 필드를 숨길 수 있습니다. (이 설정은 브라우저에 유지됩니다)
3. 일부 필드에는, 사용 가능한 경우, 해당 필드를 기준으로 inference를 검색하는 옵션이 있습니다. 강조 표시된 예시에서는 동일한 모델의 inference를 검색합니다.
4. **Detections:** 이 접을 수 있는 패널에는 해당 inference에서 받은 detection 목록이 표시됩니다. 테이블의 정렬 순서를 선택하려면 "Class" 및 "Confidence" 테이블 헤더를 클릭할 수 있습니다.
5. **다운로드 및 링크 버튼:** 여기에서 inference와 연결된 이미지를 다운로드하거나, 나중에 참조할 수 있도록 이 Inference Details로 연결되는 링크를 복사할 수 있습니다.

### Inference Images 활성화

{% hint style="info" %}
Active Learning 또는 Dataset Upload로 저장된 이미지는 프로젝트에 이미지를 업로드한 것과 동일하게 계산됩니다. 플랜 유형에 따라 크레딧, 한도 또는 할당량 사용이 적용될 수 있습니다.
{% endhint %}

Model Monitoring에서 inference 이미지를 표시하도록 활성화하는 방법은 두 가지가 있습니다:

* **Roboflow Dataset Upload 블록:** Workflows에서 "Roboflow Dataset Upload" 블록을 추가할 수 있습니다. 예측과 예측 이미지를 연결하면 Model Monitoring에 표시됩니다.

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-2e0fe2213137512f9d235bb38ecce7c3463998ef%2Fimage%20(1)%20(8).png?alt=media" alt="" width="151"><figcaption></figcaption></figure>

* **Active Learning(레거시):** 레거시 workspace의 경우 프로젝트 페이지에서 "Active Learning" 규칙을 활성화할 수 있습니다:

<figure><img src="https://3958014485-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-M6S9nPJhEX9FYH6clfW%2Fuploads%2Fgit-blob-2dd831a903dc127197efcec47e81026339de962c%2Fimage.png?alt=media" alt="" width="198"><figcaption></figcaption></figure>

## Alerting

모델에서 문제나 이상이 발생하면, 당신과 팀의 다른 구성원들은 실시간 알림을 구독할 수 있습니다. 예를 들어 모델의 confidence가 갑자기 낮아지거나 Inference Server가 중단되어 모델이 실행을 멈추면 팀은 이메일 알림을 받게 됩니다.

Alerting 페이지에서 더 많은 정보를 확인하세요:

{% content-ref url="model-monitoring/alerting" %}
[alerting](https://docs.roboflow.com/roboflow/roboflow-ko/deploy/model-monitoring/alerting)
{% endcontent-ref %}

## 사용자 지정 메타데이터

inference에 추가 메타데이터를 연결하려면 Model Monitoring의 사용자 지정 메타데이터 기능을 사용할 수 있습니다. 사용자 지정 메타데이터를 사용하면 이미지가 촬영된 위치, 예측의 기대값 등과 같은 정보를 inference에 추가할 수 있습니다. 사용자 지정 메타데이터는 "Recent Inferences" 및 "All Inferences" 보기에서 표시됩니다.

inference 결과에 사용자 지정 메타데이터를 연결하려면 [Custom Metadata API](https://docs.roboflow.com/api-reference/model-monitoring/custom-metadata) 문서를 참고하세요.

## Model Monitoring API

자동화 및 외부 시스템과의 통합을 위해 다음을 사용하여 Model Monitoring 통계를 가져올 수 있습니다: [모델 모니터링용 API](https://app.gitbook.com/s/e5GEiPeDoFksvZv1vH3A/rest-api/model-monitoring).

## 지원되는 배포

Model Monitoring은 Roboflow의 Hosted API 또는 Roboflow Inference Server를 사용하여 수행된 inference 요청을 지원합니다. 단, Inference Server에 인터넷 연결이 있어야 합니다. 여기에는 Roboflow의 [License Server](https://blog.roboflow.com/roboflow-license-server/).

{% hint style="info" %}
를 사용하는 edge 배포도 포함됩니다. 현재 Model Monitoring은 Inference Pipeline을 사용하여 수행된 inference 요청은 지원하지 않지만, 가까운 시일 내에 지원을 추가할 계획입니다.
{% endhint %}