> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/roboflow/roboflow-ko/deploy/model-monitoring.md).

# 모델 모니터링

Roboflow의 Model Monitoring 대시보드는 프로토타입 단계부터 프로덕션까지, 모델에 대한 탁월한 가시성을 제공합니다. Model Monitoring을 사용하면 전체적인 통계를 확인해 시간이 지남에 따라 모델이 어떻게 동작하는지 파악할 수 있고, 개별 inference 요청까지 살펴보며 엣지 케이스에서 모델이 어떻게 성능을 내는지 볼 수 있습니다.

{% hint style="info" %}
Model Monitoring **deprecated될 예정입니다** 그리고 Vision Events로 대체됩니다. 다음을 참조하세요. [Vision Events 문서](/roboflow/roboflow-ko/deploy/vision-events.md) 추가 정보를 확인하세요.
{% endhint %}

## Model Monitoring에 액세스하기

Model Monitoring은 Models 페이지의 하위 탭입니다. 사용하려면 workspace 탐색 바에서 "Models" 드롭다운을 열고 "Model Monitoring"을 선택하거나, Models 페이지에서 직접 "Model Monitoring" 탭으로 이동하세요.

## Workspace Dashboard

바로 모델과 관련된 세 가지 통계가 표시됩니다:

* **총 요청 수**: workspace의 모든 모델에 대해 수행된 inference의 총 수
* **평균 confidence:** 모델이 생성한 모든 예측의 평균 confidence.
* **평균 inference 시간**: 모든 inference에 대한 평균 inference 시간(이미지 전처리를 포함해 예측을 생성하는 데 걸린 시간(초))

<figure><img src="/files/3dec74bbb174b6a4a9395baeb3a056c6248c39d7" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
변화율 % 값은 현재 기간과 이전 기간을 기준으로 합니다. 기본적으로 이 통계는 지난주 데이터를 표시합니다. 하지만 통계 상단의 버튼을 사용해 기간 범위를 수정할 수 있습니다.

<img src="/files/c1090c99ae3b18bb3a54443a31f6e8075b64f0e2" alt="" data-size="original">
{% endhint %}

Models 표에는 inference가 있는 모든 모델이 표시되며, 이를 클릭하면 다음으로 이동합니다: [Model Dashboard](#model-dashboard).

<figure><img src="/files/933fdc3163d9af602a640b528c34fd99335942be" alt=""><figcaption></figcaption></figure>

또한 Recent Inferences(모든 모델 기준)를 확인하는 탭과 [Alerts 설정하기](#alerting).

<figure><img src="/files/6b18b7e389dc0a2ebc778da63adef2e42ecbba7a" alt="" width="375"><figcaption></figcaption></figure>

## Model Dashboard

Models 탭에서 특정 모델을 선택해 해당 데이터를 볼 수 있습니다. 그러면 Workspace Overview와 동일한 통계를 보게 되지만, 하나의 모델에만 해당하는 정보입니다.

여기에서는 통계 외에도 모델의 각 class별 detection 수를 확인하고, 다른 class와의 분포를 볼 수 있습니다.

<figure><img src="/files/31b843c02169892f345532e1598688e184deace4" alt=""><figcaption></figcaption></figure>

표의 오른쪽 상단에 있는 "See All Inferences" 버튼을 클릭하면 다음으로 이동합니다: [Inferences Table](#inferences-table).

## Inferences Table

여기에서 모델의 모든 예측 결과를 볼 수 있습니다. 또한 inference에 추가된 모든 custom metadata도 확인할 수 있습니다. inference의 일부만 보려면 표 오른쪽 상단의 필터를 사용하세요.

<figure><img src="/files/235b4a40383157371a18decbf7f4a04977c48860" alt=""><figcaption></figcaption></figure>

### Inference Details

Inferences Table에서 특정 inference로 드릴다운해 더 자세한 내용을 확인할 수 있습니다. 아래 이미지에 표시된 순서대로 살펴보겠습니다:

<figure><img src="/files/dfee69d9086472785764677c3829976c4f709f60" alt=""><figcaption></figcaption></figure>

1. **이미지:** 여기에서 inference에 사용된 이미지를 볼 수 있습니다. *참고: 기본적으로는 활성화되어 있지 않습니다. 다음을 참조하세요:* [*Inference Images 활성화*](#enabling-inference-images)
2. **Inference Details:** 이 패널에서는 inference 요청에 대한 모든 세부 정보와 속성을 볼 수 있습니다. 사용 가능한 모든 필드는 기본적으로 표시되지만, 일부를 숨기고 싶다면 오른쪽 상단의 "Cog" 아이콘을 클릭해 필드를 숨길 수 있습니다. (이 설정은 브라우저에 유지됩니다)
3. 일부 필드에서는 해당 필드를 기준으로 inference를 검색하는 옵션이 제공될 수 있습니다. 강조 표시된 예시에서는 동일한 모델의 inference를 검색합니다.
4. **Detections:** 이 접을 수 있는 패널에는 해당 inference에서 받은 detection 목록이 표시됩니다. 표의 정렬 순서를 선택하려면 "Class"와 "Confidence" 열 머리글을 클릭하면 됩니다.
5. **Download 및 Link 버튼:** 여기에서 inference와 연결된 이미지를 다운로드하거나, 나중에 참고할 수 있도록 이 Inference Details의 링크를 복사할 수 있습니다.

### Inference Images 활성화

{% hint style="info" %}
Active Learning 또는 Dataset Upload로 저장된 이미지는 프로젝트에 이미지를 업로드한 것과 동일하게 계산됩니다. 요금제 유형에 따라 credit, limit 또는 quota 사용이 적용될 수 있습니다.
{% endhint %}

Model Monitoring에 inference 이미지가 표시되도록 하는 방법은 두 가지가 있습니다:

* **Roboflow Dataset Upload 블록:** Workflows에서 "Roboflow Dataset Upload" 블록을 추가할 수 있습니다. predictions와 prediction image를 연결하면 Model Monitoring에 표시됩니다.

<figure><img src="/files/a270cb0c59a60a72ca9772fff703924470decbbe" alt="" width="151"><figcaption></figcaption></figure>

* **Active Learning:** 다음을 구성할 수 있습니다 [Active Learning](/roboflow/roboflow-ko/deploy/active-learning.md) Project의 규칙을 사용해 프로덕션 inference 이미지를 자동으로 수집할 수 있습니다.

<figure><img src="/files/ada2289af88ef49864b629d8df529faf5b8e5f76" alt="" width="198"><figcaption></figcaption></figure>

## Alerting

모델에 문제나 이상이 발생하면 귀하와 팀의 다른 구성원들이 실시간 알림을 구독할 수 있습니다. 예를 들어, 모델의 confidence가 갑자기 낮아지거나 Inference Server가 중단되어 모델이 실행을 멈추면 팀에 이메일 알림이 전송됩니다.

Alerting 페이지에서 더 자세한 정보를 확인하세요:

{% content-ref url="/pages/2d4e1e47480625095bcd411952d95af3f575ced6" %}
[알림](/roboflow/roboflow-ko/deploy/model-monitoring/alerting.md)
{% endcontent-ref %}

## Custom Metadata

inference에 추가 메타데이터를 첨부하려면 Model Monitoring의 custom metadata 기능을 사용할 수 있습니다. custom metadata를 사용하면 이미지가 촬영된 위치, 예측의 예상 값 등의 정보를 inference에 추가할 수 있습니다. custom metadata는 "Recent Inferences" 및 "All Inferences" 보기에서 표시됩니다.

inference 결과에 custom metadata를 첨부하려면 다음을 참조하세요: [Custom Metadata API](https://docs.roboflow.com/api-reference/model-monitoring/custom-metadata) 문서.

## Model Monitoring API

자동화 및 외부 시스템과의 통합을 위해 다음을 사용하여 Model Monitoring 통계를 가져올 수 있습니다 [model monitoring용 API](/developer/rest-api/model-monitoring.md).

## 지원되는 배포

Model Monitoring은 Inference Server에 인터넷 액세스가 있는 경우 Roboflow의 Hosted API 또는 Roboflow Inference Server를 사용해 만들어진 inference 요청을 지원합니다. 여기에는 Roboflow의 [License Server](https://blog.roboflow.com/roboflow-license-server/).

{% hint style="info" %}
현재 Model Monitoring은 Inference Pipeline을 사용해 만들어진 inference 요청을 지원하지 않지만, 가까운 시일 내에 지원을 추가할 계획입니다.
{% endhint %}