その他のデバイスを使用

非 NVIDIA GPU を含む未サポートのハードウェア上でも、代替の ONNX Runtime 実行プロバイダーやその他のエッジ SDK を使って Roboflow Inference を実行します。

推論は x64 および ARM プロセッサでテスト済みでサポートされています。必要に応じて NVIDIA/CUDA GPU も使用できます。その他のデバイスでも動作する可能性はありますが、公式にはテストもサポートもされていません。

その他の GPU

NVIDIA でも Apple でもない GPU でのハードウェアアクセラレーションは現在サポートされていませんが、ONNX Runtime には 追加の実行プロバイダーが AMD/ROCm、Arm NN、Rockchip など向けのものがあります。

これらのランタイムのいずれかをインストールすると、次の設定で有効にできます。 ONNXRUNTIME_EXECUTION_PROVIDERS 環境変数。例:

export ONNXRUNTIME_EXECUTION_PROVIDERS="[ROCMExecutionProvider,OpenVINOExecutionProvider,CPUExecutionProvider]"

これは未検証で、性能向上は保証されません。CUDA 以外の GPU の高速化は Docker 内では動作しない可能性が高いです。次を参照してください: Mac インストールガイド コンテナ外でサーバーを実行する方法の例。

その他のエッジデバイス

Roboflow には、次のような他のデプロイ先でオブジェクト検出をネイティブに実行するための SDK があります: Web ブラウザーでの TensorFlow.js, iOS 上でのネイティブ Swift CoreML 経由、そして Snap Lens Studio。詳細は SDK の概要 完全な一覧については。

Workflows や他の種類のモデルを別のデバイスで実行するなどの追加機能については、HTTP 経由で Inference Server に接続し Inference SDK を使用します.