GPU 雲端租用平台比較
Vast.ai
- 開源平台，使用者可以自行設定價格並提供硬體資源出租
- 全球節點廣泛，亞洲地區選擇多，（台灣）適合就近連線
- 支援多種租用模式（On-Demand、可中斷、預約）
- 適合需要短期、高效能且低成本 GPU 使用者
價格相對便宜，例如 H100 SXM 每小時最低約 $1.738/hr
Cudo Compute
compute.cudo.org/?create=virtual-machine
原本虛擬幣挖礦相關公司轉型而來，提供企業級的虛擬機服務，主打穩定與可控性
- 中心化平台，僅使用自家設備，品質較穩定
- 節點分佈以歐美為主，亞洲選擇相對少
- 使用者須自行設定 vCPU、記憶體等硬體規格，調整即增加費用
- 適合企業、研究單位等對穩定性與安全性要求高的使用情境
價格略高，例如 H100 SXM 每小時約 $2.50（加拿大）、$2.25（挪威）
GPU 算力比較
NVIDIA H100 系列 GPU（包括 SXM 與 NVL 版本）專為 AI 與高效能運算設計，無論在理論運算效能、記憶體頻寬還是軟體支援上，都遠超消費級的 RTX 4090。
H100 SXM
- 採用 Hopper 架構，具備 16,896 個 CUDA 核心與 528 個第 4 代 Tensor 核心
- 搭載 80GB HBM3 記憶體，記憶體頻寬高達 3.35 TB/s
- FP16 Tensor 運算效能可達 1,000 TFLOPS，支援 FP8 精度與 Transformer Engine
H100 NVL
- 雙 GPU 模組，總計 94GB HBM3 記憶體，透過 NVLink 連接
- 記憶體頻寬與 SXM 版本相當，適合需要大量記憶體與高速資料傳輸的應用
RTX 4090
- 採用 Ada Lovelace 架構，具備 16,384 個 CUDA 核心與 512 個第 4 代 Tensor 核心
- 搭載 24GB GDDR6X 記憶體，記憶體頻寬約為 1 TB/s
- FP16 Tensor 運算效能約為 330 TFLOPS，主要設計用於遊戲與創作應用
效能比較總覽
| 指標 | H100 SXM | H100 NVL | RTX 4090 |
|---|---|---|---|
| 架構 | Hopper | Hopper | Ada Lovelace |
| CUDA 核心數 | 16,896 | 16,896 ×2 | 16,384 |
| Tensor 核心數 | 528 | 528 ×2 | 512 |
| 記憶體容量 | 80GB HBM3 | 94GB HBM3 | 24GB GDDR6X |
| 記憶體頻寬 | 3.35 TB/s | 3.35 TB/s | 1 TB/s |
| FP16 Tensor 效能 | 1,000 TFLOPS | 1,000 TFLOPS ×2 | 330 TFLOPS |
| 主要用途 | AI 訓練與推論 | 大型 AI 模型推論 | 遊戲與創作應用 |
- H100 SXM：適合需要高效能訓練的研究人員與企業
- H100 NVL：適合需要大量記憶體與高速資料傳輸的推論應用