Tue Nov 9 16:04:47 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.91.03 Driver Version: 460.91.03 CUDA Version: N/A |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 Tesla K80 Off | 00000000:00:1E.0 Off | 0 |
| N/A 41C P0 56W / 149W | 504MiB / 11441MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
+-----------------------------------------------------------------------------+
GPU TRT コンテナをビルドする前に必要な最後の情報はプロジェクト情報です。これには Roboflow API Key、Model ID、Model Version が含まれます。この情報をお持ちでない場合は、次のリンクに従ってください プロジェクト情報を見つける。見つかったら、それら3つの変数を後で使えるように保存してください。
Enterprise GPU TRT
Enterprise GPU TRT デプロイは、モデルをデバイス上でコンパイルし、利用可能なハードウェアに最適化します。GPU TRT コンテナには現在 3 つのデプロイオプションがあります。AWS 経由で EC2 にデプロイする方法、Windows 経由で WSL2 にデプロイする方法、Windows 経由で Anaconda にデプロイする方法です。
Amazon EC2 デプロイメント
AMI を選択して EC2 インスタンスを起動する
EC2 インスタンスで TRT GPU コンテナを実行するには、まず適切な AMI を選択する必要があります。AMI はインスタンスを起動するときに設定でき、インスタンスを起動する前に選択しておくべきです。ここでは NVIDIA GPU-Optimized AMI を使用します。これは Ubuntu 20.04、Docker、その他の要件が事前にインストールされたものです。
NVIDIA GPU-Optimized AMI で EC2 インスタンスを構成する
SSH で EC2 インスタンスにログインする
EC2 インスタンスが正常に稼働していれば、SSH と Amazon Keypair を使ってログインできます。Amazon はインスタンスへの接続方法に関するドキュメントを ここに提供しています。Keypair が用意できていて EC2 インスタンスの Public DNS を知っている場合、以下のコマンドでインスタンスにログインできます。デフォルトの インスタンスユーザー名 は ubuntu です。
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log notice;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
}
http {
upstream myapp1 {
server Roboflow-GPU-1:9001;
server Roboflow-GPU-2:9001;
server Roboflow-GPU-3:9001;
server Roboflow-GPU-4:9001;
server Roboflow-GPU-5:9001;
server Roboflow-GPU-6:9001;
server Roboflow-GPU-7:9001;
server Roboflow-GPU-8:9001;
}
server {
listen 80;
location / {
proxy_pass http://myapp1;
}
}
}