クラウドにデプロイ

inference cloud を使って、Roboflow Inference コンテナを AWS や GCP の CPU または GPU 仮想マシンにデプロイします。

Roboflow Inference コンテナをクラウド上の仮想マシンにデプロイできます。これらの VM は内部で CPU または GPU ベースの Inference Server を実行するように構成されているため、OS、GPU ドライバー、Docker のインストールを気にする必要はありません。Inference CLI は現在、Roboflow Inference のコンテナイメージを Google Cloud（GCP）または Amazon Cloud（AWS）上で動作する仮想マシンにデプロイすることをサポートしています。

Inference CLI は、仮想マシンをデプロイしたいプロジェクトに対応するクラウド CLI が設定済みであることを前提としています。設定手順を読んで、 Google gcloud CLI または Amazon AWS CLI.

Roboflow Inference のクラウドデプロイは、 SkyPilot プロジェクト.

以下のコマンドを実行するには、 cloud-deploy extras がインストールされている必要があります:

pip install "inference-cli[cloud-deploy]"

コマンドの詳細を確認するには、次を実行します:

inference cloud --help

各サブコマンドについてもヘルプガイドがあります:

inference cloud deploy --help

inference cloud deploy

AWS または GCP に GPU または CPU の推論をデプロイします:

# AWS の GPU 対応 VM に Roboflow Inference GPU コンテナをデプロイ
inference cloud deploy --provider aws --compute-type gpu

# GCP の CPU 専用 VM に Roboflow Inference CPU コンテナをデプロイ
inference cloud deploy --provider gcp --compute-type cpu

デプロイ完了後に表示される「cluster name」に注意してください。このハンドルは、その後の多くのコマンドで使用します。deploy コマンドは、VM に関する役立つデバッグ情報とコスト情報も表示します。

クラウド VM に Inference をデプロイすると、次の形式のエンドポイントも出力されます http://1.2.3.4:9001；このエンドポイントに対して推論を実行できます。

ポート 9001 は自動的に開放されることに注意してください。これがクラウドやプロジェクトで許容されるかどうかは、セキュリティ管理者に確認してください。

inference cloud status

デプロイの状態を確認するには、次を実行します:

inference cloud status

デプロイの停止と開始

次のコマンドでデプロイを開始・停止できます:

inference cloud start <deployment_handle>

と

# VM を停止します。VM が停止している間はディスクストレージ分のみ課金されます
inference cloud stop <deployment_handle>

inference cloud undeploy

デプロイを削除（undeploy）するには、次を実行します:

inference cloud undeploy <deployment_handle>

クラウドデプロイに SSH 接続する

次のコマンドでクラウドデプロイに SSH 接続できます:

ssh <deployment_handle>

必要な SSH キーは自動的に ~/.ssh/configに追加されるため、手動で設定する必要はありません。

クラウドデプロイのカスタマイズ

Roboflow Inference のクラウドデプロイは、社内でテスト済みのテンプレートに基づいて VM を作成します。

高度なユースケースでは、独自の sky YAML テンプレートをコマンドラインで渡すことで、テンプレートをカスタマイズできます:

inference cloud deploy --custom /path/to/sky-template.yaml

Roboflow CLI に保存されている標準テンプレートをダウンロードし、必要に応じて変更することもできます:

# このコマンドは標準の gcp/cpu sky テンプレートを出力します。
inference cloud deploy --dry-run --provider gcp --compute-type cpu

その後、変更内容に基づいてカスタムテンプレートをデプロイできます。

また、 sky CLI を使ってデプロイを制御し、より高度な機能にアクセスすることもできます。

Roboflow Inference deploy は現在 AWS と GCP をサポートしています。ぜひ Inference GitHub リポジトリ で issue を作成し、他のクラウドプロバイダーのサポートをご希望ください。

Roboflow にサーバーの運用とスケーリングを任せたい場合は、こちらをご覧ください 専用デプロイメント.