Бенчмарки кодинг-агентов
Бенчмарки кодинг-агентов
Опубликованные результаты кодинг-агентов из двух пермиссивных источников: Terminal-Bench 2.1 и LMArena WebDev. Показаны только реальные публичные прогоны со ссылками на источники; оценки Airuns и составные индексы не выдумываются.
Для сравнения самих языковых моделей см. каталог моделей.
LMArena WebDev
Арена слепых парных сравнений результатов веб-разработки: две версии сайта, созданные по одному заданию, сравнивают без указания системы. Источник: lmarena-ai/leaderboard-dataset (CC-BY-4.0). Используется рейтинг Брэдли–Терри; чем выше, тем лучше.
| # | Модель | Организация | Рейтинг (95% ДИ) | Голосов | Лицензия |
|---|---|---|---|---|---|
| 1 | Claude Opus 5.5 (Max) | anthropic | 1 810 (1 797…1 823) | 3 473 | Proprietary |
| 2 | GPT-6 Astra (Max) | openai | 1 773 (1 764…1 783) | 7 210 | Proprietary |
| 3 | Claude Sonnet 5.5 (xHigh) | anthropic | 1 770 (1 758…1 781) | 4 469 | Proprietary |
| 4 | Gemini 4 Carbon (High) | 1 768 (1 753…1 783) | 2 230 | Proprietary | |
| 5 | GPT-6.1 Sol (Max) | openai | 1 751 (1 739…1 762) | 4 092 | Proprietary |
| 6 | Claude Fable 5.1 (Max) | anthropic | 1 746 (1 737…1 754) | 8 614 | Proprietary |
| 7 | Muse Wonder Full (Max) | meta | 1 725 (1 711…1 739) | 2 248 | Proprietary |
| 8 | Claude Sonnet 5.5 (High) | anthropic | 1 711 (1 701…1 720) | 6 371 | Proprietary |
| 9 | Kimi K3.1 Pro (Max) | moonshot | 1 695 (1 682…1 708) | 2 671 | Proprietary |
| 10 | Claude Opus 5 (Max) | anthropic | 1 691 (1 684…1 697) | 19 641 | Proprietary |
| 11 | Gemini 4 Argon (High) | 1 679 (1 668…1 691) | 3 437 | Proprietary | |
| 12 | GPT-6 Sol (Max) | openai | 1 678 (1 669…1 688) | 5 714 | Proprietary |
| 13 | Qwen3.8-Max (0902) | alibaba | 1 676 (1 669…1 683) | 17 936 | Proprietary |
| 14 | GPT-6.1 Terra (Max) | openai | 1 673 (1 657…1 688) | 1 821 | Proprietary |
| 15 | Qwen3.8-Max | alibaba | 1 672 (1 660…1 684) | 3 406 | Proprietary |
Terminal-Bench 2.1
Официальные сабмиты на бенчмарк задач агентов в терминале: точность pass@1, число попыток, стоимость и дата. Публикация: tbench.ai (лицензия Apache-2.0).
| # | Агент | Модель | Организация | pass@1 | Попыток | Стоимость | Дата | Сабмит |
|---|---|---|---|---|---|---|---|---|
| 1 | Claude Code | Fable 5 | Anthropic | 83.8 % | 445 | $552.67 | 07.06.2026 | PR |
| 2 | Codex | GPT-5.5 | OpenAI | 83.2 % | 445 | $2059.19 | 01.05.2026 | PR |
| 3 | Terminus 2 | Fable 5 | Terminal-Bench | 80.5 % | 445 | $438.64 | 05.06.2026 | PR |
| 4 | Cursor CLI | Grok 4.5 | Cursor | 79.3 % | 445 | $134.09 | 09.07.2026 | PR |
| 5 | Claude Code | Opus 4.8 | Anthropic | 78.9 % | 445 | $286.94 | 09.07.2026 | PR |
| 6 | Codex | GPT-5.6 Terra | OpenAI | 78.4 % | 445 | $421.15 | 11.07.2026 | PR |
| 7 | Terminus 2 | GPT-5.5 | Terminal-Bench | 78.0 % | 445 | $493.85 | 01.05.2026 | PR |
| 8 | Codex | GPT-5.6 Sol | OpenAI | 76.2 % | 445 | $574.68 | 10.07.2026 | PR |
| 9 | mini-SWE-agent | Muse Spark 1.1 | Princeton | 76.2 % | 445 | $198.05 | 09.07.2026 | PR |
| 10 | Codex | GPT-5.6 Luna | OpenAI | 75.7 % | 445 | $241.45 | 11.07.2026 | PR |
| 11 | Claude Code | Sonnet 5 | Anthropic | 74.6 % | 445 | $288.18 | 09.07.2026 | PR |
| 12 | Codex | GPT-5.6 Terra | OpenAI | 74.4 % | 445 | $401.03 | 10.07.2026 | PR |
| 13 | Terminus 2 | Gemini 3 Pro | Terminal-Bench | 73.9 % | 445 | $224.44 | 01.05.2026 | PR |
| 14 | Codex | GPT-5.6 Luna | OpenAI | 71.2 % | 445 | $218.28 | 10.07.2026 | PR |
| 15 | Claude Code | Opus 4.7 | Anthropic | 68.9 % | 447 | $599.52 | 01.05.2026 | PR |
| 16 | Terminus 2 | Opus 4.7 | Terminal-Bench | 66.1 % | 445 | $582.26 | 01.05.2026 | PR |
| 17 | Gemini CLI | Gemini 3 Pro | 65.8 % | 445 | $247.76 | 01.05.2026 | PR | |
| 18 | Gemini CLI | Gemini 3.1 Pro | 65.8 % | 445 | $236.49 | 05.05.2026 | PR | |
| 19 | Terminus 2 | Gemini 3.1 Pro | Terminal-Bench | 65.6 % | 445 | $229.99 | 05.05.2026 | PR |
| 20 | Claude Code | GLM-5.1 | Anthropic | 58.6 % | 445 | $277.14 | 01.05.2026 | PR |
Источники: tbench.ai (Terminal-Bench 2.1, Apache-2.0) и lmarena-ai/leaderboard-dataset (LMArena WebDev, CC-BY-4.0). Получено: 31.10.2026, 21:19:05.