Lens Studio

Snap Lens를 구축할 때 사용하기 위해 모델을 Lens Studio에 배포하세요.

Roboflow에 학습된 모델이 준비되면 해당 모델을 SnapML에 배포할 수 있습니다.

작업 지원

호스팅된 API에서 다음 작업 유형이 지원됩니다:

작업 유형	Lens Studio에서 지원
객체 감지	✅
분류
인스턴스 분할
시맨틱 분할

참고: Roboflow Train 3.0으로 학습된 모델만 지원됩니다. 모델이 Roboflow Train 3.0에서 학습되었는지 여부는 해당 모델과 연결된 Versions 페이지에서 확인할 수 있습니다.

Lens Studio로 모델 배포하기

Roboflow 사이드바에서 “Deploy”를 클릭한 다음 아래로 스크롤하여 “Use with Snap Lens Studio” 박스를 찾으세요. “Export to Lens Studio”를 클릭합니다.

TRT 컨테이너에서 GPU 장치 ID 노출

이 버튼을 클릭하면 모델의 클래스에 대한 정보가 표시된 팝업이 나타납니다.

이 클래스들은 순서가 정해져 있으며 다음 단계에서 Lens Studio에서 모델을 구성할 때 사용됩니다. 향후 사용을 위해 클래스 목록을 메모하세요.

추가로 두 개의 파일이 다운로드됩니다:

1. 최소한의 구성으로 애플리케이션에서 가중치를 사용할 수 있는 Roboflow Lens Studio 템플릿, 그리고;

2. 모델 가중치 파일.

Roboflow Lens Studio 템플릿의 크기는 100MB이므로 인터넷 연결에 따라 템플릿 다운로드에 잠시 시간이 걸릴 수 있습니다.

템플릿이 준비되었으므로 Lens Studio에서 모델 설정을 시작할 수 있습니다.

Lens Studio에서 모델 구성하기

아직 Lens Studio를 설치하지 않았다면 다음으로 이동하세요: Snap AR 웹사이트 에서 최신 버전의 Lens Studio를 다운로드하세요. Lens Studio를 설치하면 모델 구성 준비가 완료됩니다.

이 섹션에서는 Roboflow Lens Studio 템플릿을 사용합니다. 하지만 모델 가중치는 MLController 구성요소가 있는 어떤 애플리케이션에서도 사용할 수 있습니다. MLController 구성요소.

이전에 다운로드한 Roboflow Lens Studio 템플릿의 압축을 풀고, 압축 해제된 폴더에서 “Roboflow-Lens-Template.Isproj” 파일을 엽니다.

애플리케이션을 열면 다음과 유사한 화면을 보게 됩니다:

기본적으로 템플릿은 동전 계수 모델을 사용합니다. 이 예제에서는 앞서 만든 플레이잉 카드 모델을 사용하겠습니다. 이 애플리케이션은 각 예측에 박스를 그리지만 Lens Studio를 사용하여 자체 필터와 로직을 추가할 수 있습니다.

Lens Studio 왼쪽 사이드바 상단의 “ML Controller” 박스를 클릭합니다:

그러면 미리보기 창 옆에 애플리케이션에서 사용할 모델을 구성할 수 있는 박스가 열립니다:

데모 애플리케이션은 동전 계수 예제에 맞게 구성되어 있습니다. 자체 모델을 사용하려면 먼저 “ML Model” 박스를 클릭하세요:

그런 다음 Roboflow에서 다운로드한 가중치 파일을 팝업 박스에 끌어다 놓습니다:

가중치를 끌어다 놓으면 일부 구성 옵션이 표시됩니다. 팝업의 “Inputs” 섹션에서 각 “Scale” 값을 0.0039로 설정하세요. 바이어스 값은 기본값 그대로 두십시오.

그런 다음 “Import”를 클릭하여 모델을 가져옵니다.

Lens Studio에서 클래스 구성하기

이제 모델이 Lens Studio에 로드되었습니다. 한 가지 단계가 더 있습니다: 모델에 사용될 클래스들을 알려주는 것입니다.

이전에 사용한 ML Model 버튼 아래의 “Class Settings” 탭에서 클래스 목록을 볼 수 있습니다. 이 값들은 데모 프로젝트에서 동전 계수 예제에 맞게 구성되어 있지만, 자체 Lens Studio 프로젝트에서 작업하는 경우 이 값들은 비어 있을 것입니다.

여기서 클래스 이름과 레이블을 설정해야 합니다. 레이블은 Roboflow 대시보드에 표시된 순서대로 입력해야 합니다. 다음은 플레이잉 카드 애플리케이션의 값 중 하나를 설정하는 예입니다:

모델의 각 클래스에 대해 이 구성을 수행해야 합니다. Snap이 모델 가중치의 정보를 해석할 수 있도록 모델의 모든 클래스를 지정해야 합니다.

이제 애플리케이션을 사용할 준비가 되었습니다! 컴퓨터에서 애플리케이션을 사용하려면 “Preview” 박스를 사용하거나 다음을 사용하여 자신의 기기에서 애플리케이션을 시연할 수 있습니다: Snapchat과 페어링 기능.