Lens Studio

Snap Lens の構築で使用するためにモデルを Lens Studio にデプロイします。

Roboflowで学習済みモデルが準備できたら、そのモデルをSnapMLにデプロイできます。

サポートされるタスク

ホストされたAPIでサポートされるタスクタイプは次のとおりです:

タスクタイプ
Lens Studioでサポート

物体検出

分類

インスタンスセグメンテーション

セマンティックセグメンテーション

注: Roboflow Train 3.0を使用して学習されたモデルのみがサポートされています。モデルがRoboflow Train 3.0で学習されているかどうかは、モデルに関連付けられたVersionsページで確認できます。

モデルをLens Studioにデプロイする

Roboflowのサイドバーで「Deploy」をクリックし、下にスクロールして「Use with Snap Lens Studio」ボックスが表示されるまで移動します。「Export to Lens Studio」をクリックしてください。

このボタンをクリックすると、モデル内のクラスに関する情報を表示するポップアップが表示されます。

これらのクラスは順序付けられており、次のステップでLens Studioでモデルを設定する際に使用されます。今後の利用のためにクラス一覧を控えておいてください。

さらに、次の2つのファイルがダウンロードされます:

  1. 最小限の設定でアプリケーションで重みを使用できるRoboflow Lens Studioテンプレート、および;

  2. あなたのモデルの重み。

Roboflow Lens Studioテンプレートは100MBあるため、インターネット接続によってはテンプレートのダウンロードに少し時間がかかる場合があります。

テンプレートが準備できたら、Lens Studioでモデルの設定を開始できます。

Lens Studioでモデルを設定する

まだLens Studioをインストールしていない場合は、 Snap ARのウェブサイトarrow-up-right にアクセスして最新バージョンのLens Studioをダウンロードしてください。Lens Studioがインストールされていれば、モデルの設定を開始できます。

このセクションではRoboflow Lens Studioテンプレートを使用します。しかし、モデルの重みはMLControllerコンポーネントを使って任意のアプリケーションで使用できます。 MLControllerコンポーネントarrow-up-right.

先ほどダウンロードしたRoboflow Lens Studioテンプレートの圧縮を解凍し、次に開いてください: Roboflow-Lens-Template.Isproj 解凍したフォルダ内のファイル。

アプリケーションを開くと、次のような画面が表示されます:

デフォルトではテンプレートはコインカウントモデルを使用します。ここでは例として前に作成したトランプ(playing cards)モデルを使用します。このアプリケーションは各予測にボックスを描画しますが、Lens Studioを使って独自のフィルターやロジックを追加できます。

Lens Studioの左サイドバー上部にある「ML Controller」ボックスをクリックしてください:

これにより、プレビューウィンドウの横にアプリケーションで使用するモデルを設定できるボックスが開きます:

デモアプリケーションはコインカウンターの例向けに設定されています。自身のモデルを使用するには、まず「ML Model」ボックスをクリックします:

次に、Roboflowからダウンロードした重みをポップアップボックスにドラッグします:

重みをドラッグするといくつかの設定オプションが表示されます。ポップアップの「Inputs」セクションで各「Scale」値を0.0039に設定してください。バイアス値はデフォルトのままにしておきます。

その後、「Import」をクリックしてモデルをインポートします。

Lens Studioでクラスを設定する

これでモデルがLens Studioに読み込まれました。もう一つのステップは、モデルで使用するクラスを伝えることです。

先ほど使用したML Modelボタンの下にある「Class Settings」タブにはクラス一覧が表示されます。これらはデモプロジェクトのコインカウンター例向けに設定されていますが、独自のLens Studioプロジェクトで作業している場合はこれらの値は空白になっています。

ここではクラス名とラベルを設定する必要があります。ラベルはRoboflowダッシュボードに表示されている順序である必要があります。以下はトランプアプリケーションの値の一つを設定する例です:

モデル内の各クラスについてこの設定を行う必要があります。Snapがモデルの重み内の情報を解釈できるように、モデル内のすべてのクラスを指定しなければなりません。

これでアプリケーションは使用準備ができました!「Preview」ボックスを使ってコンピュータ上でアプリケーションを試すか、次の機能を使って自分のデバイスでデモできます: Snapchatとのペアリング機能arrow-up-right.

Last updated

Was this helpful?