inferencejsリファレンス

Roboflowで構築したコンピュータビジョンアプリケーションをWeb/JavaScript環境にデプロイするためのエッジライブラリ「inferencejs」のリファレンス

詳細はこちら inferencejs 、当社のWeb SDK、 こちら

インストール

このライブラリは、vite、webpack、parcelなどのバンドラを使用してブラウザ内で使用するように設計されています。バンドラのセットアップが完了している場合、次のコマンドを実行してインストールできます:

npm install inferencejs

Getting Started

まず、 InferenceEngineを初期化します。これにより、バックグラウンドワーカーが起動し、ユーザーインターフェースをブロックせずにモデルのダウンロードと実行が可能になります。

import { InferenceEngine } from "inferencejs";

const PUBLISHABLE_KEY = "rf_a6cd..."; // Roboflowの自身のpublishable keyに置き換えてください

const inferEngine = new InferenceEngine();
const workerId = await inferEngine.startWorker("[PROJECT URL SLUG]", [VERSION NUMBER], PUBLISHABLE_KEY);

//モデルに対して推論を実行する
const result = await inferEngine.infer(workerId, img);

API

InferenceEngine

new InferenceEngine()

新しいInferenceEngineインスタンスを作成します。

startWorker(modelName: string, modelVersion: number, publishableKey: string): Promise<number>

指定したモデル用の新しいワーカーを開始し、 workerId. 重要- publishableKey は必須であり、Roboflowのプロジェクト設定フォルダから取得できます。

infer(workerId: number, img: CVImage | ImageBitmap): Promise<Inference>

指定した workerId. img を使って作成できます new CVImage(HTMLImageElement | HTMLVideoElement | ImageBitmap | TFJS.Tensor) または createImageBitmap

stopWorker(workerId: number): Promise<void>

指定したワーカーを停止します workerId.

YOLOv8 YOLOv5

で推論を実行した結果 InferenceEngine YOLOv8またはYOLOv5の物体検出モデルでは、次の型の配列が返されます:

type RFObjectDetectionPrediction = {
    class?: string;
    confidence?: number;
    bbox?: {
        x: number;
        y: number;
        width: number;
        height: number;
    };
    color?: string;
};

GazeDetections

で推論を実行した結果 InferenceEngine Gazeモデルでの型。次の型の配列です:

type GazeDetections = {
    leftEye: { x: number; y: number };
    rightEye: { x: number; y: number };
    yaw: number;
    pitch: number;
}[];

leftEye.x

左目のx位置。入力画像の幅に対する割合（0から1の浮動小数点数）で表されます。

leftEye.y

左目のy位置。入力画像の高さに対する割合（0から1の浮動小数点数）で表されます。

rightEye.x

右目のx位置。入力画像の幅に対する割合（0から1の浮動小数点数）で表されます。

rightEye.y

右目のy位置。入力画像の高さに対する割合（0から1の浮動小数点数）で表されます。

yaw

視線のヨー（yaw）。ラジアンで測定されます。

pitch

視線のピッチ（pitch）。ラジアンで測定されます。

CVImage

コンピュータビジョンタスクで使用できる画像を表すクラスです。画像の操作や変換のための様々なメソッドを提供します。

コンストラクタ

この CVImage(image) クラスコンストラクタは新しいインスタンスを初期化します。次のいずれかの型の画像を1つ受け取ります:

• ImageBitmap：オプションの ImageBitmap 画像の表現。

• HTMLImageElement：オプションの HTMLImageElement 画像の表現。

• tf.Tensor：オプションの tf.Tensor 画像の表現。

• tf.Tensor4D：オプションの4次元 tf.Tensor 画像の表現。

メソッド

bitmap()

Promiseを返し、 ImageBitmap 画像の表現を返します。画像がすでにビットマップの場合は、キャッシュされたビットマップを返します。

tensor()

画像の tf.Tensor 表現を返します。画像がすでにテンソルの場合は、キャッシュされたテンソルを返します。

tensor4D()

Promiseを返し、4次元の tf.Tensor 画像の表現を返します。画像がすでに4次元テンソルの場合は、キャッシュされた4次元テンソルを返します。

array()

Promiseを返し、画像のJavaScript配列表現を返します。画像がすでにテンソルの場合は、テンソルを配列に変換します。

dims()

画像の寸法を含む配列を返します。画像がビットマップの場合は [width, height]を返します。画像がテンソルの場合はテンソルのshapeを返します。画像がHTML画像要素の場合は [width, height].

dispose()

画像のテンソル表現を破棄してメモリを解放します。

static fromArray(array: tf.TensorLike)

新しい CVImage インスタンスを指定したテンソルライク配列から作成します。