For the complete documentation index, see llms.txt. This page is also available as Markdown.

Workflowsベンチマーク

直接のモデル推論と、同じモデルをWorkflowでラップした場合のレイテンシを比較します。

このページでは比較します 直接 モデル推論 レイテンシーと ワークフローでラップされた推論 人気の検出モデルにおける、直接推論のレイテンシーとワークフローでラップされた推論のレイテンシーを比較します。目的は、Workflows 実行エンジンによって追加されるオーバーヘッドを定量化することです。

自己ホスト環境の結果

すべての時間は ミリ秒。ベンチマークは、サーバーグレードの NVIDIA GPU 上で TensorRT 最適化モデルを使用して実行され、以下の inference Python パッケージです。各モデルは計測前にウォームアップされ、その後 10 回の反復で測定されました。

モデル
直接平均 (ms)
ワークフロー平均 (ms)
ワークフローのオーバーヘッド (ms)

rfdetr-nano

2.65

4.40

1.75

rfdetr-small

3.17

4.62

1.45

rfdetr-medium

3.79

5.38

1.59

rfdetr-large

4.87

7.46

2.59

rfdetr-xlarge

8.44

10.65

2.21

yolo26n-640

2.42

4.07

1.65

yolo26s-640

3.25

5.48

2.23

yolo26m-640

4.56

6.29

1.73

yolo26l-640

5.76

8.01

2.25

yolo26x-640

7.75

9.36

1.61

要点

  • ワークフローのオーバーヘッドは最小限です — 通常、モデルサイズに関係なく、直接推論に 1.5〜2.6 ms 上乗せされる程度です。

  • より大きなモデル(例: rfdetr-xlarge)では、ワークフローのオーバーヘッドはモデル推論時間に比べて小さく(約 26%)です。

  • より小さく高速なモデル(例: yolo26n-640)では、オーバーヘッドは相対的に大きくなりますが、絶対値では依然として 2 ms 未満です。

  • ワークフローのオーバーヘッドは CPU による処理(グラフのスケジューリング、入力準備、出力ルーティング)であり、モデル推論自体は通常 GPU 上で実行されます(利用可能な場合)。そのため、GPU の速度に関係なくオーバーヘッドは比較的一定に保たれます。

方法

  • GPU アクセラレーションによる推論(結果はハードウェアによって異なります)。

  • ウォームアップ: 計測開始前に、各モデルとワークフローエンジンを 1 回の推論呼び出しでウォームアップします。

  • 反復回数: 各メソッド、各モデルにつき 10 回の計測反復。

  • 直接推論: 使用するのは get_model() で、 model.infer() を直接呼び出します。

  • ワークフロー推論: 同じモデルを最小限の 1 ステップワークフローにラップし、以下の 実行エンジン.

クリックしてベンチマークスクリプトを展開

クラウドホストの結果

以下の結果は、ホストされた Serverless Cloud API。いくつかの注意点:

  • 自己ホスト結果と比べると、Serverless サーバーはワークフローのスキーマとモデルの重みも取得する必要があります(いっぽう、Serverless のモデル推論は重みのみを取得します)

  • Workflows には固定の 10〜50 ms のレイテンシーオーバーヘッドがあります

Serverless ベンチマーク用ワークフロー

最終更新

役に立ちましたか?