Инференс LLM на реальном оборудовании
Оборудование
Результаты инференса больших языковых моделей из официального набора результатов MLPerf Inference (датацентровый сценарий). Показаны только опубликованные прогоны: скорость в токенах в секунду, состав оборудования, программный стек и точность. Данные не изменяются: позиции соответствуют опубликованному сводному файлу результатов.
Набор результатов: MLPerf Inference v5.1.
Llama 2 70B
Прогонов в выборке: 12. Ранжирование по скорости генерации (токенов в секунду).
| # | Поставщик | Система / ускорители | Скорость | Веса | Точность | Программный стек | Прогон |
|---|---|---|---|---|---|---|---|
| 1 | AMD_MangoBoost | smci355-8N-cluster AMD Instinct MI355X 288GB HBM3e × 8 | 648 248 Tokens/s | mxfp4 | ROUGE1: 44.6039 ROUGE2: 22.2203 ROUGEL | PyTorch 2.8.0a0+git74091a9, aiter 0.1.4.dev17+gd | результат |
| 3 | AMD_MangoBoost | smci355-4N-cluster AMD Instinct MI355X 288GB HBM3e × 8 | 350 820 Tokens/s | mxfp4 | ROUGE1: 44.4641 ROUGE2: 22.1359 ROUGEL | PyTorch 2.8.0a0+git74091a9, aiter 0.1.4.dev17+gd | результат |
| 5 | MangoBoost | MangoBoost Heterogeneous Cluster (4x8x MI300X-192GB, 2x8x MI325X-256GB, LLMBoost) AMD Instinct MI300X 192GB HBM3 (x32), AMD Instinct MI325X 256GB HBM3e (x16) × 8 | 169 197 Tokens/s | fp8 | ROUGE1: 44.4439 ROUGE2: 22.0377 ROUGEL | Mango LLMBoost AI Enterprise Platform, vllm-0.9. | результат |
| 7 | MangoBoost | MangoBoost Heterogeneous Cluster (4x8x MI300X-192GB, 2x8x MI325X-256GB, LLMBoost) AMD Instinct MI300X 192GB HBM3 (x32), AMD Instinct MI325X 256GB HBM3e (x16) × 8 | 153 076 Tokens/s | fp8 | ROUGE1: 44.4379 ROUGE2: 22.0365 ROUGEL | Mango LLMBoost AI Enterprise Platform, vllm-0.9. | результат |
| 9 | Cisco | HPF HGX System (32xH100-SXM-80GB, TensorRT) NVIDIA H100-SXM-80GB × 8 | 124 879 Tokens/s | fp8 | ROUGE1: 44.5291 ROUGE2: 22.1146 ROUGEL | TensorRT 10.8, CUDA 12.8 | результат |
| 11 | Cisco | HPF HGX System (32xH100-SXM-80GB, TensorRT) NVIDIA H100-SXM-80GB × 8 | 122 274 Tokens/s | fp8 | ROUGE1: 44.5726 ROUGE2: 22.181 ROUGEL: | TensorRT 10.8, CUDA 12.8 | результат |
| 13 | Lenovo | ThinkSystem SR680a V3 (8x B200-SXM-180GB, TensorRT) NVIDIA B200-SXM-180GB × 8 | 102 909 Tokens/s | fp4 | ROUGE1: 44.7482 ROUGE2: 22.3577 ROUGEL | TensorRT 10.8, CUDA 12.8 | результат |
| 15 | Lambda | NVIDIA DGX B200 (8x B200-SXM-180GB, TensorRT) NVIDIA B200-SXM-180GB × 8 | 102 725 Tokens/s | fp4 | ROUGE1: 44.7048 ROUGE2: 22.3207 ROUGEL | TensorRT 10.11, CUDA 12.9 | результат |
| 16 | Supermicro | SYS-422GS-NBRT-LCC (8x B200-SXM-180GB, TensorRT) NVIDIA B200-SXM-180GB × 8 | 102 498 Tokens/s | fp4 | ROUGE1: 44.7482 ROUGE2: 22.3577 ROUGEL | TensorRT 10.11, CUDA 12.9 | результат |
| 17 | Dell | Dell PowerEdge XE9685L (8x B200-SXM-180GB, TensorRT) NVIDIA B200-SXM-180GB × 8 | 102 131 Tokens/s | fp4 | ROUGE1: 44.8002 ROUGE2: 22.3837 ROUGEL | TensorRT 10.11, CUDA 12.8 | результат |
| 22 | Nebius | Nebius B200 (8x B200-SXM-180GB, TensorRT) NVIDIA B200-SXM-180GB × 8 | 101 611 Tokens/s | fp4 | ROUGE1: 44.758 ROUGE2: 22.3636 ROUGEL: | TensorRT 10.11, CUDA 12.9 | результат |
| 24 | NVIDIA | NVIDIA DGX B200 (8x B200-SXM-180GB, TensorRT) NVIDIA B200-SXM-180GB × 8 | 101 527 Tokens/s | fp4 | ROUGE1: 44.7347 ROUGE2: 22.3552 ROUGEL | TensorRT 10.11, CUDA 12.9 | результат |
Llama 2 70B (99.9%)
Прогонов в выборке: 13. Ранжирование по скорости генерации (токенов в секунду).
| # | Поставщик | Система / ускорители | Скорость | Веса | Точность | Программный стек | Прогон |
|---|---|---|---|---|---|---|---|
| 2 | AMD_MangoBoost | smci355-8N-cluster AMD Instinct MI355X 288GB HBM3e × 8 | 648 248 Tokens/s | mxfp4 | ROUGE1: 44.6039 ROUGE2: 22.2203 ROUGEL | PyTorch 2.8.0a0+git74091a9, aiter 0.1.4.dev17+gd | результат |
| 4 | AMD_MangoBoost | smci355-4N-cluster AMD Instinct MI355X 288GB HBM3e × 8 | 350 820 Tokens/s | mxfp4 | ROUGE1: 44.4641 ROUGE2: 22.1359 ROUGEL | PyTorch 2.8.0a0+git74091a9, aiter 0.1.4.dev17+gd | результат |
| 6 | MangoBoost | MangoBoost Heterogeneous Cluster (4x8x MI300X-192GB, 2x8x MI325X-256GB, LLMBoost) AMD Instinct MI300X 192GB HBM3 (x32), AMD Instinct MI325X 256GB HBM3e (x16) × 8 | 169 197 Tokens/s | fp8 | ROUGE1: 44.4439 ROUGE2: 22.0377 ROUGEL | Mango LLMBoost AI Enterprise Platform, vllm-0.9. | результат |
| 8 | MangoBoost | MangoBoost Heterogeneous Cluster (4x8x MI300X-192GB, 2x8x MI325X-256GB, LLMBoost) AMD Instinct MI300X 192GB HBM3 (x32), AMD Instinct MI325X 256GB HBM3e (x16) × 8 | 153 076 Tokens/s | fp8 | ROUGE1: 44.4379 ROUGE2: 22.0365 ROUGEL | Mango LLMBoost AI Enterprise Platform, vllm-0.9. | результат |
| 10 | Cisco | HPF HGX System (32xH100-SXM-80GB, TensorRT) NVIDIA H100-SXM-80GB × 8 | 124 879 Tokens/s | fp8 | ROUGE1: 44.5291 ROUGE2: 22.1146 ROUGEL | TensorRT 10.8, CUDA 12.8 | результат |
| 12 | Cisco | HPF HGX System (32xH100-SXM-80GB, TensorRT) NVIDIA H100-SXM-80GB × 8 | 122 274 Tokens/s | fp8 | ROUGE1: 44.5726 ROUGE2: 22.181 ROUGEL: | TensorRT 10.8, CUDA 12.8 | результат |
| 14 | Lenovo | ThinkSystem SR680a V3 (8x B200-SXM-180GB, TensorRT) NVIDIA B200-SXM-180GB × 8 | 102 909 Tokens/s | fp4 | ROUGE1: 44.7482 ROUGE2: 22.3577 ROUGEL | TensorRT 10.8, CUDA 12.8 | результат |
| 18 | Dell | Dell PowerEdge XE9685L (8x B200-SXM-180GB, TensorRT) NVIDIA B200-SXM-180GB × 8 | 102 131 Tokens/s | fp4 | ROUGE1: 44.8002 ROUGE2: 22.3837 ROUGEL | TensorRT 10.11, CUDA 12.8 | результат |
| 19 | Supermicro | AS-4126GS-NBR-LCC (8x B200-SXM-180GB, TensorRT) NVIDIA B200-SXM-180GB × 8 | 101 865 Tokens/s | fp4 | ROUGE1: 44.7482 ROUGE2: 22.3577 ROUGEL | TensorRT 10.11, CUDA 12.9 | результат |
| 20 | Supermicro | SYS-422GA-NBRT-LCC (8x B200-SXM-180GB, TensorRT) NVIDIA B200-SXM-180GB × 8 | 101 859 Tokens/s | fp4 | ROUGE1: 44.7482 ROUGE2: 22.3577 ROUGEL | TensorRT 10.11, CUDA 12.9 | результат |
| 21 | Supermicro | SYS-422GS-NBRT-LCC (8x B200-SXM-180GB, TensorRT) NVIDIA B200-SXM-180GB × 8 | 101 696 Tokens/s | fp4 | ROUGE1: 44.7482 ROUGE2: 22.3577 ROUGEL | TensorRT 10.11, CUDA 12.9 | результат |
| 23 | Nebius | Nebius B200 (8x B200-SXM-180GB, TensorRT) NVIDIA B200-SXM-180GB × 8 | 101 611 Tokens/s | fp4 | ROUGE1: 44.758 ROUGE2: 22.3636 ROUGEL: | TensorRT 10.11, CUDA 12.9 | результат |
| 25 | NVIDIA | NVIDIA DGX B200 (8x B200-SXM-180GB, TensorRT) NVIDIA B200-SXM-180GB × 8 | 101 527 Tokens/s | fp4 | ROUGE1: 44.7347 ROUGE2: 22.3552 ROUGEL | TensorRT 10.11, CUDA 12.9 | результат |
Источник: https://raw.githubusercontent.com/mlcommons/inference_results_v5.1/main/summary_results.json (v5.1, лицензия Apache-2.0). Получено: 31.10.2026, 21:18:29.