Lens Studio

Snap Lens を作成するために Lens Studio にモデルをデプロイします。

Roboflowでトレーニング済みのモデルが準備できたら、そのモデルをSnapMLにデプロイできます。

タスクサポート

ホストAPIでサポートされているタスクタイプは以下の通りです:

タスクタイプ
Lens Studioに対応

物体検出

分類

インスタンスセグメンテーション

セマンティックセグメンテーション

注意:Roboflow Train 3.0でトレーニングされたモデルのみがサポートされています。モデルがRoboflow Train 3.0でトレーニングされているかどうかは、モデルに関連付けられたVersionsページで確認できます。

モデルをLens Studioにデプロイする

Roboflowのサイドバーで「Deploy」をクリックし、「Use with Snap Lens Studio」ボックスが表示されるまでスクロールします。「Export to Lens Studio」をクリックします。

このボタンをクリックすると、モデル内のクラス情報が表示されるポップアップが現れます。

これらのクラスは順番に並んでおり、次のステップでLens Studioでモデルを設定する際に使用されます。今後のためにクラスリストをメモしておいてください。

さらに、2つのファイルがダウンロードされます:

  1. Roboflow Lens Studioテンプレート(最小限の設定でアプリケーション内で重みを使用できるもの)と、

  2. モデルの重みファイルです。

Roboflow Lens Studioテンプレートは100MBあるため、インターネット接続によってはダウンロードに少し時間がかかる場合があります。

テンプレートの準備ができたら、Lens Studioでモデルの設定を始めましょう。

Lens Studioでモデルを設定する

まだLens Studioをインストールしていない場合は、 Snap ARウェブサイト から最新バージョンのLens Studioをダウンロードしてください。Lens Studioをインストールしたら、モデルの設定を始める準備が整います。

このセクションではRoboflow Lens Studioテンプレートを使用しますが、 MLControllerコンポーネント.

先ほどダウンロードしたRoboflow Lens Studioテンプレートを解凍し、解凍したフォルダ内の「Roboflow-Lens-Template.Isproj」ファイルを開きます。

アプリケーションを開くと、次のような画面が表示されます:

デフォルトでは、このテンプレートはコインカウントモデルを使用しています。この例では、以前作成したトランプモデルを使用します。このアプリケーションは各予測の周りにボックスを描画しますが、Lens Studioを使って独自のフィルターやロジックを追加できます。

Lens Studioの左サイドバー上部にある「ML Controller」ボックスをクリックします:

これにより、プレビューウィンドウの横でアプリケーションでモデルを使用するための設定ができるボックスが開きます:

デモアプリケーションはコインカウンターの例用に設定されています。自分のモデルを使うには、まず「ML Model」ボックスをクリックします:

次に、Roboflowからダウンロードした重みファイルをポップアップボックスにドラッグします:

重みファイルをドラッグすると、いくつかの設定オプションが表示されます。ポップアップの「Inputs」セクションで、各「Scale」値を0.0039に設定します。バイアス値はデフォルトのままにしてください。

その後、「Import」をクリックしてモデルをインポートします。

Lens Studioでクラスを設定する

これでモデルがLens Studioに読み込まれました。あと1ステップあります:どのクラスを使用するかモデルに伝えます。

先ほど使用したML Modelボタンの下にある「Class Settings」タブで、クラスのリストが表示されます。これらはデモプロジェクトのコインカウンター用に設定されていますが、自分のLens Studioプロジェクトで作業している場合はこれらの値は空白です。

ここで、クラス名とラベルを設定する必要があります。ラベルはRoboflowダッシュボードで表示されている順番でなければなりません。以下はトランプアプリケーション用に値を設定する例です:

この設定はモデル内の各クラスについて行う必要があります。Snapがモデルの重み内の情報を解釈できるよう、すべてのクラスを指定しなければなりません。

これでアプリケーションの準備ができました!「Preview」ボックスを使ってパソコン上でアプリケーションを使用したり、自分のデバイスでデモしたりできます。 Snapchatとのペアリング機能.

Last updated

Was this helpful?