Web inference-sdk

inference-sdk を使って、Roboflow Cloud 上でブラウザからリアルタイム動画推論を実行します。

WebRTC Streamingとは？

@roboflow/inference-sdk WebRTCを使用して、ブラウザからRoboflowの推論サーバーへリアルタイムのビデオストリーミングを可能にします。これにより、次のことができます:

• Workflowsを実行 - 複雑な複数ステップのコンピュータビジョンパイプラインを実行

• すべてのモデルにアクセス - どのRoboflowモデルタイプでも使用可能

• サーバーサイドでの処理 - 強力なGPUを活用

• 低遅延 - WebRTCはほぼリアルタイムの結果を提供します

• 双方向通信 - ストリーミング中にデータを送受信

インストール

npm install @roboflow/inference-sdk

クイックスタート

始めるには、以下の動画/サンプルコードをご覧ください:

import { connectors, webrtc, streams } from '@roboflow/inference-sdk';

// ⚠️ 開発時のみ withApiKey を使用してください
// ⚠️ 本番環境でこれを使用しないでください。APIキーが公開されます
// 本番環境では、バックエンドプロキシを使用してください（次のセクションを参照）
const connector = connectors.withApiKey("your-api-key");

// カメラストリームを取得
const stream = await streams.useCamera({
  video: {
    facingMode: { ideal: "environment" },
    width: { ideal: 640 },
    height: { ideal: 480 }
  }
});

// WebRTC接続を開始
const connection = await webrtc.useStream({
  source: stream,
  connector,
  wrtcParams: {
    workspaceName: "your-workspace",
    workflowId: "your-workflow",
    imageInputName: "image",
    streamOutputNames: ["output"],
    dataOutputNames: ["predictions"]
  },
  onData: (data) => {
    console.log("Inference results:", data);
  }
});

// 処理済みビデオを表示
const videoElement = document.getElementById('video');
videoElement.srcObject = await connection.remoteStream();

// 完了したらクリーンアップ
await connection.cleanup();

🔐 セキュリティのベストプラクティス

本番アプリケーションのフロントエンドコードにAPIキーを絶対に公開しないでください。

その connectors.withApiKey() メソッドはデモには便利ですが、APIキーがブラウザに公開されます。 本番環境では、必ずバックエンドプロキシを使用してください:

安全な本番パターン

フロントエンド:

import { connectors, webrtc, streams } from '@roboflow/inference-sdk';

// 直接APIキーの代わりにプロキシエンドポイントを使用
const connector = connectors.withProxyUrl('/api/init-webrtc');

const stream = await streams.useCamera({ video: true });
const connection = await webrtc.useStream({
  source: stream,
  connector,
  wrtcParams: { /* ... */ }
});

バックエンド（Express）:

import { InferenceHTTPClient } from '@roboflow/inference-sdk/api';

app.post('/api/init-webrtc', async (req, res) => {
  const { offer, wrtcparams } = req.body;

  // APIキーはサーバー側で安全に保持されます
  const client = InferenceHTTPClient.init({
    apiKey: process.env.ROBOFLOW_API_KEY
  });

  const answer = await client.initializeWebrtcWorker({
    offer,
    workspaceName: wrtcparams.workspaceName,
    workflowId: wrtcparams.workflowId,
    config: {
      imageInputName: wrtcparams.imageInputName,
      streamOutputNames: wrtcparams.streamOutputNames,
      dataOutputNames: wrtcparams.dataOutputNames
    }
  });

  res.json(answer);
});

主な機能

動的な出力再設定

再起動せずに実行中にstream出力とdata出力を変更できます:

// 別の可視化に切り替え
connection.reconfigureOutputs({
  streamOutput: ["blur_visualization"]
});

// すべてのdata出力を有効化
connection.reconfigureOutputs({
  dataOutput: ["*"]
});

// 両方を同時に変更
connection.reconfigureOutputs({
  streamOutput: ["annotated_image"],
  dataOutput: ["predictions", "counts"]
});

完全な動作例

フロントエンドとバックエンドの両方のコードを含む完全な動作例は、次の サンプルアプリケーションのリポジトリを参照してください。サンプルアプリでは次を示します:

• APIキーを安全に保つための適切なバックエンドプロキシ設定

• カメラストリーミングの統合

• エラーハンドリングと接続管理

• 本番対応のパターン

リソース

• サンプルアプリケーション

• NPMのパッケージ