# Model Monitoring

Roboflow의 Model Monitoring 대시보드는 프로토타이핑부터 운영 단계까지, 모델 전반에 대한 탁월한 가시성을 제공합니다. Model Monitoring을 사용하면 전체 수준의 통계를 확인하여 시간이 지남에 따라 모델이 어떻게 성능을 내고 있는지 파악할 수 있으며, 개별 추론 요청을 확인하여 엣지 케이스에서 모델이 어떻게 동작하는지도 볼 수 있습니다.

{% hint style="info" %}
Model Monitoring **는 더 이상 사용되지 않게 되며** Vision Events로 대체됩니다. 자세한 내용은 [Vision Events 문서](/roboflow/roboflow-ko/deploy/vision-events.md) 를 참조하세요.
{% endhint %}

## Model Monitoring에 접근하기

Model Monitoring 대시보드를 보려면 workspace에서 "Monitoring" 탭을 클릭하세요.

<figure><img src="/files/5a169d69ccfcd5f0f65a16162bbac0b85811dd83" alt="" width="312"><figcaption></figcaption></figure>

## Workspace 대시보드

즉시, 모델과 관련된 다음 세 가지 통계를 확인할 수 있습니다:

* **총 요청 수**: workspace의 모든 모델에 대해 수행된 추론의 총 개수
* **평균 confidence:** 모든 모델 예측에서의 평균 confidence입니다.
* **평균 추론 시간**: 모든 추론의 평균 추론 시간(이미지 전처리를 포함하여 예측을 생성하는 데 걸린 시간, 초 단위)

<figure><img src="/files/3dec74bbb174b6a4a9395baeb3a056c6248c39d7" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
% 변경 값은 현재 기간과 이전 기간을 기준으로 합니다. 기본적으로 이 통계는 지난 1주일의 데이터를 보여줍니다. 하지만 통계 상단의 버튼을 사용하여 시간 범위를 수정할 수 있습니다.

<img src="/files/c1090c99ae3b18bb3a54443a31f6e8075b64f0e2" alt="" data-size="original">
{% endhint %}

Models 테이블에는 추론이 수행된 모든 모델이 표시되며, 해당 모델을 클릭하면 [Model Dashboard](#model-dashboard).

<figure><img src="/files/933fdc3163d9af602a640b528c34fd99335942be" alt=""><figcaption></figcaption></figure>

로 이동합니다. 또한 최근 Inferences(모든 모델 기준) 및 [Alerts 설정](#alerting).

<figure><img src="/files/6b18b7e389dc0a2ebc778da63adef2e42ecbba7a" alt="" width="375"><figcaption></figcaption></figure>

## Model Dashboard

Models 탭에서는 특정 모델을 선택하여 해당 데이터를 볼 수 있습니다. 여기에서는 Workspace Overview와 동일한 통계를 볼 수 있지만, 하나의 모델에 한정된 정보가 표시됩니다.

여기에서는 통계 외에도 모델 내 각 class의 detection 수를 확인할 수 있으며, 다른 class들과의 분포도 볼 수 있습니다.

<figure><img src="/files/31b843c02169892f345532e1598688e184deace4" alt=""><figcaption></figcaption></figure>

테이블 오른쪽 상단의 "See All Inferences" 버튼을 클릭하면 [Inferences Table](#inferences-table).

## Inferences Table

로 이동합니다. 여기에서는 모델에 대한 모든 예측 결과를 볼 수 있습니다. 또한 추론에 추가된 사용자 정의 metadata도 확인할 수 있습니다. 추론의 일부만 보려면 테이블 오른쪽 상단의 필터를 사용할 수 있습니다.

<figure><img src="/files/235b4a40383157371a18decbf7f4a04977c48860" alt=""><figcaption></figcaption></figure>

### Inference Details

Inferences Table에서 특정 추론을 자세히 살펴보고 더 많은 세부 정보를 확인할 수 있습니다. 이 이미지에 표시된 순서대로 살펴보겠습니다:

<figure><img src="/files/dfee69d9086472785764677c3829976c4f709f60" alt=""><figcaption></figcaption></figure>

1. **이미지:** 여기에서 추론된 이미지를 볼 수 있습니다. *참고: 이 기능은 기본적으로 활성화되어 있지 않습니다. 다음을 참조하세요:* [*추론 이미지 활성화*](#enabling-inference-images)
2. **Inference Details:** 이 패널에서는 추론 요청에 대한 모든 세부 정보와 속성을 볼 수 있습니다. 사용 가능한 모든 필드는 기본적으로 표시되지만, 일부를 숨기고 싶다면 오른쪽 상단 모서리의 "Cog" 아이콘을 클릭하여 필드를 숨길 수 있습니다. (이 설정은 브라우저에 저장됩니다)
3. 일부 필드에서는 사용 가능한 경우, 해당 필드를 기반으로 추론을 검색하는 옵션이 제공됩니다. 강조 표시된 예시에서는 동일한 모델의 추론을 검색합니다.
4. **Detections:** 이 접을 수 있는 패널에는 해당 추론에서 받은 detection 목록이 표시됩니다. 테이블의 정렬 순서를 선택하려면 "Class" 및 "Confidence" 테이블 헤더를 클릭할 수 있습니다.
5. **다운로드 및 링크 버튼:** 여기에서 추론과 연결된 이미지를 다운로드하거나, 나중에 참고할 수 있도록 이 Inference Details의 링크를 복사할 수 있습니다.

### 추론 이미지 활성화

{% hint style="info" %}
Active Learning 또는 Dataset Upload로 저장된 이미지는 프로젝트에 이미지를 업로드한 것과 동일하게 계산됩니다. 플랜 유형에 따라 크레딧, 한도 또는 할당량 사용이 적용될 수 있습니다.
{% endhint %}

Model Monitoring에 추론 이미지를 표시하려면 두 가지 방법이 있습니다:

* **Roboflow Dataset Upload 블록:** Workflows에서 "Roboflow Dataset Upload" 블록을 추가할 수 있습니다. 예측과 예측 이미지를 연결하면 Model Monitoring에 표시됩니다.

<figure><img src="/files/a270cb0c59a60a72ca9772fff703924470decbbe" alt="" width="151"><figcaption></figcaption></figure>

* **Active Learning(레거시):** 레거시 workspace의 경우, 프로젝트 페이지에서 "Active Learning" 규칙을 활성화할 수 있습니다:

<figure><img src="/files/ada2289af88ef49864b629d8df529faf5b8e5f76" alt="" width="198"><figcaption></figcaption></figure>

## Alerting

귀하와 팀의 다른 구성원은 모델에서 문제나 이상이 발생할 때 실시간 알림을 구독할 수 있습니다. 예를 들어, 모델의 confidence가 갑자기 감소하거나 Inference Server가 중단되어 모델이 실행을 멈추면 팀은 이메일 알림을 받게 됩니다.

Alerting 페이지에서 더 많은 정보를 확인하세요:

{% content-ref url="/pages/2d4e1e47480625095bcd411952d95af3f575ced6" %}
[알림](/roboflow/roboflow-ko/deploy/model-monitoring/alerting.md)
{% endcontent-ref %}

## Custom Metadata

추론에 추가 metadata를 첨부하려면 Model Monitoring의 custom metadata 기능을 사용할 수 있습니다. custom metadata를 사용하면 이미지가 촬영된 위치, 예측의 기대값 등의 정보를 추론에 추가할 수 있습니다. custom metadata는 "Recent Inferences" 및 "All Inferences" 보기에서 표시됩니다.

추론 결과에 custom metadata를 첨부하려면 다음을 참조하세요: [Custom Metadata API](https://docs.roboflow.com/api-reference/model-monitoring/custom-metadata) 문서.

## Model Monitoring API

자동화 및 외부 시스템과의 통합을 위해 다음을 사용하여 Model Monitoring 통계를 가져올 수 있습니다: [model monitoring용 API](/developer/rest-api/model-monitoring.md).

## 지원되는 배포

Model Monitoring은 Roboflow의 Hosted API 또는 Roboflow Inference Server를 사용해 만들어진 추론 요청을 지원합니다. 단, Inference Server에 인터넷 액세스가 있어야 합니다. 여기에는 Roboflow의 [License Server](https://blog.roboflow.com/roboflow-license-server/).

{% hint style="info" %}
현재 Model Monitoring은 Inference Pipeline을 사용해 만들어진 추론 요청을 지원하지 않지만, 가까운 시일 내에 지원을 추가할 계획입니다.
{% endhint %}


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://docs.roboflow.com/roboflow/roboflow-ko/deploy/model-monitoring.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.