> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/ko/monitoring-and-analytics/model-monitoring.md).

# 모델 모니터링

Roboflow를 사용한 모델 모니터링 가이드입니다.

## 개요

Roboflow의 Model Monitoring 대시보드에서는 프로토타이핑부터 프로덕션까지 모델의 성능을 확인할 수 있습니다. 시간에 따른 상위 수준 통계를 보거나 개별 추론 요청을 열어 모델이 예외 상황을 어떻게 처리하는지 확인할 수 있습니다.

{% hint style="info" %}
Model Monitoring은 더 이상 사용되지 않으며 Vision Events로 대체될 예정입니다. 자세한 내용은 [Vision Events 문서](https://docs.roboflow.com/deployment/ko/monitoring-and-analytics/vision-events.md) 를 참조하세요.
{% endhint %}

Model Monitoring은 Roboflow Cloud API 또는 Roboflow Inference Server를 통해 수행된 추론 요청을 기록합니다. 단, Inference Server가 인터넷에 연결되어 있어야 합니다. 여기에는 Roboflow의 [License Server](https://blog.roboflow.com/roboflow-license-server/).

를 사용하는 엣지 배포도 포함됩니다. 추론에 맞춤 메타데이터(예: 이미지 촬영 위치 또는 예상 예측)를 첨부하고 Model Monitoring 통계를 다른 시스템으로 가져올 수 있습니다. 두 작업 모두 [HTTP API](#http-api).

를 사용합니다. 문제가 발생하면 사용자와 팀이 이메일 알림을 구독할 수 있습니다(예: 모델의 신뢰도가 갑자기 낮아지거나 Inference Server가 중단되어 모델 실행이 멈춘 경우).

{% content-ref url="/pages/9111ed2787b16024df5f1056fba9426e6b3d0d0d" %}
[알림](https://docs.roboflow.com/deployment/ko/monitoring-and-analytics/model-monitoring/alerting.md)
{% endcontent-ref %}

### 추론 이미지

기본적으로 Model Monitoring은 추론 이미지를 저장하지 않습니다. 이미지를 저장하는 방법은 두 가지입니다.

* Roboflow Dataset Upload 블록: Workflow에 "Roboflow Dataset Upload" 블록을 추가하고 예측 결과와 예측 이미지를 연결합니다.

<figure><img src="https://1826078061-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-2e0fe2213137512f9d235bb38ecce7c3463998ef%2Fimage%20(367).png?alt=media" alt="" width="151"><figcaption></figcaption></figure>

* Active Learning: 프로젝트에서 [Active Learning](https://docs.roboflow.com/deployment/ko/monitoring-and-analytics/active-learning.md) 규칙을 구성하여 프로덕션 추론 이미지를 자동으로 수집합니다.

<figure><img src="https://1826078061-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-2dd831a903dc127197efcec47e81026339de962c%2Fimage%20(327).png?alt=media" alt="" width="198"><figcaption></figcaption></figure>

{% hint style="info" %}
Active Learning 또는 Dataset Upload로 저장한 이미지는 프로젝트에 직접 업로드한 이미지와 동일하게 취급됩니다. 플랜 유형에 따라 크레딧, 한도 또는 할당량이 적용될 수 있습니다.
{% endhint %}

## 웹 앱

Workspace 탐색 메뉴에서 "Models" 드롭다운을 열고 "Model Monitoring"을 선택합니다.

대시보드에는 모든 모델의 총 요청 수, 평균 신뢰도, 평균 추론 시간이 표시됩니다. 추론 시간에는 이미지 전처리 시간이 포함됩니다. 각 % 변화는 선택한 기간과 그 직전의 동일한 기간을 비교한 값입니다. 기본 기간은 지난주입니다.

<figure><img src="https://1826078061-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-00a88ae4ffc0ffb5c7cc150479aec32f8dc2c12d%2Fimage%20(324).png?alt=media" alt=""><figcaption></figcaption></figure>

Models 표에는 추론 기록이 있는 모든 모델이 표시됩니다. 모델을 클릭하면 해당 모델의 동일한 통계와 클래스별 감지 수를 확인할 수 있습니다. 다른 탭에서는 모든 모델의 최근 추론과 [알림](https://docs.roboflow.com/deployment/ko/monitoring-and-analytics/model-monitoring/alerting.md).

<figure><img src="https://1826078061-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-ecac74de3be1e2b8edb1a48dd17c3a89edf86155%2Fimage%20(326).png?alt=media" alt=""><figcaption></figcaption></figure>

<figure><img src="https://1826078061-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-0baf9cb0b75c74c2b341606235b7b5cd89bd9e59%2FScreenshot%202024-05-23%20at%2020.44.57.png?alt=media" alt=""><figcaption></figcaption></figure>

을 확인할 수 있습니다. "See All Inferences"를 클릭하면 각 추론의 맞춤 메타데이터도 표시되는 Inferences 표가 열립니다.

<figure><img src="https://1826078061-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-c0e48d4b2d25fea504b7eb38ecfc3a0ce664c5b5%2FScreenshot%202024-05-23%20at%2020.50.13.png?alt=media" alt=""><figcaption></figcaption></figure>

추론 항목을 클릭하면 해당 이미지, 요청 세부 정보, 감지 결과를 확인할 수 있습니다. 이미지는 [추론 이미지를 저장하는 경우에만](#inference-images)표시됩니다. 세부 정보 패널에서 숨긴 필드는 해당 브라우저에서 계속 숨겨집니다.

<figure><img src="https://1826078061-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-ce546fe2b1798e05122b3de07944b699094213fc%2Fimage%20(366).png?alt=media" alt=""><figcaption></figcaption></figure>

## HTTP API

### 추론 통계 가져오기

시간 범위에 따른 Workspace 모델의 추론 횟수, 신뢰도, 추론 시간과 함께, 그 직전의 동일한 길이의 기간에 대한 같은 수치를 가져옵니다. 이 데이터는 대시보드의 총계와 % 변화에 사용됩니다. Enterprise 플랜에서 이용할 수 있으며, API 키당 분당 50회 요청할 수 있습니다.

{% openapi src="/files/200688048916cf0f45d7bd19115b604623ecb1e7" path="/{workspace}/inference-stats" method="get" %}
[model-monitoring.yaml](https://1826078061-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-9f71481b5404c01cb2719571b4904eafff241bd9%2Fmodel-monitoring.yaml?alt=media)
{% endopenapi %}

### 추론에 메타데이터 첨부하기

Serverless와 Inference Server 응답에는 `inference_id`가 포함됩니다. 대시보드에서 필터링하고 그룹화할 수 있는 메타데이터를 첨부하려면 필드 이름과 값을 함께 전송합니다(예: 카메라 위치 또는 생산 라인). 필드 이름은 대소문자를 구분하므로 표기를 일관되게 유지하세요.

{% openapi src="/files/200688048916cf0f45d7bd19115b604623ecb1e7" path="/{workspace}/inference-stats/metadata" method="post" %}
[model-monitoring.yaml](https://1826078061-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-9f71481b5404c01cb2719571b4904eafff241bd9%2Fmodel-monitoring.yaml?alt=media)
{% endopenapi %}

다음 예제에서는 Serverless에서 추론을 실행하고 위치 정보를 첨부합니다.

```python
import requests
from inference_sdk import InferenceHTTPClient

api_key = "YOUR_API_KEY"
workspace = "YOUR_WORKSPACE_ID"

client = InferenceHTTPClient(api_url="https://serverless.roboflow.com", api_key=api_key)
result = client.infer("https://media.roboflow.com/inference/people-walking.jpg", model_id="coco/24")

response = requests.post(
    f"https://api.roboflow.com/{workspace}/inference-stats/metadata",
    headers={"Authorization": f"Bearer {api_key}"},
    json={
        "data": [
            {
                "inference_ids": [result["inference_id"]],
                "field_name": "camera_location",
                "field_value": "canada",
            }
        ]
    },
)
print(response.json())
```
