Lens Studio

Snap Lens を作るために Lens Studio にモデルをデプロイします。

Roboflow でトレーニング済みモデルが準備できたら、モデルを SnapML にデプロイできます。

サポートされるタスク

ホストされたAPIで次のタスクタイプがサポートされています:

タスクタイプ
Lens Studio によってサポートされています

オブジェクト検出

分類

インスタンスセグメンテーション

セマンティックセグメンテーション

注: Roboflow Train 3.0 を使用してトレーニングされたモデルのみがサポートされています。モデルが Roboflow Train 3.0 でトレーニングされているかどうかは、モデルに関連付けられた Versions ページで確認できます。

モデルを Lens Studio にデプロイする

Roboflow のサイドバーで「Deploy」をクリックし、下にスクロールして「Use with Snap Lens Studio」ボックスが表示されるまで移動します。「Export to Lens Studio」をクリックしてください。

\

このボタンをクリックすると、モデル内のクラスに関する情報を表示するポップアップが表示されます。

これらのクラスは順序付けられており、次のステップで Lens Studio でモデルを設定する際に使用されます。将来の使用のためにクラスリストを控えておいてください。

さらに、次の2つのファイルがダウンロードされます:

  1. 最小限の設定でアプリケーション内で重みを使用できる Roboflow Lens Studio テンプレート、および;

  2. あなたのモデルの重み(weights)。

Roboflow Lens Studio テンプレートは100MBあるため、テンプレートのダウンロードはインターネット接続状況によっては少し時間がかかる場合があります。

テンプレートが準備できたら、Lens Studio でモデルの設定を開始できます。

Lens Studio でモデルを設定する

まだ Lens Studio をインストールしていない場合は、次へ移動してください: Snap AR のウェブサイト そして Lens Studio の最新バージョンをダウンロードします。Lens Studio をインストールしたら、モデルの設定を開始する準備が整います。

このセクションでは Roboflow Lens Studio テンプレートを使用します。ただし、モデルの重みは MLController コンポーネント を使用すれば任意のアプリケーションで使用できます。 MLController コンポーネント.

先ほどダウンロードした Roboflow Lens Studio テンプレートの ZIP を解凍し、解凍フォルダ内の「Roboflow-Lens-Template.Isproj」ファイルを開きます。

アプリケーションを開くと、次のような画面が表示されます:

デフォルトでは、テンプレートはコインカウンターのモデルを使用しています。ここでは例として先に作成したトランプ(playing cards)モデルを使用します。このアプリケーションは各予測の周りにボックスを描画しますが、Lens Studio を使って独自のフィルタやロジックを追加できます。

Lens Studio の左側サイドバー上部にある「ML Controller」ボックスをクリックします:

これにより、プレビューウィンドウの隣にあるアプリケーションでモデルを設定できるボックスが開きます:

デモアプリケーションはコインカウンターの例で構成されています。自分のモデルを使用するには、まず「ML Model」ボックスをクリックします:

次に、Roboflow からダウンロードした weights をポップアップボックスにドラッグします:

weights をドラッグすると、いくつかの設定オプションが表示されます。ポップアップの「Inputs」セクションで各「Scale」値を 0.0039 に設定してください。bias 値はデフォルトのままにしてください。

その後、「Import」をクリックしてモデルをインポートします。

Lens Studio でクラスを設定する

これでモデルを Lens Studio に読み込みました。もう1つの手順は、モデルで使用するクラスを指定することです。

先ほど使用した ML Model ボタンの下にある「Class Settings」タブにはクラスのリストが表示されます。デモプロジェクトではこれらはコインカウンター用に設定されていますが、独自の Lens Studio プロジェクトで作業している場合はこれらの値は空白になっています。

ここで、クラス名とラベルを設定する必要があります。ラベルは Roboflow ダッシュボードに表示されている順序である必要があります。以下はトランプアプリケーションでの値の設定例です:

モデル内の各クラスに対してこの設定を行う必要があります。Snap がモデルの重み内の情報を解釈できるように、モデル内のすべてのクラスを指定する必要があります。

これでアプリケーションの使用準備が整いました!「Preview」ボックスを使ってコンピュータ上でアプリケーションを使用したり、次の機能を使って自身のデバイスでアプリをデモできます: Pairing with Snapchat 機能.

Last updated

Was this helpful?