Агенты искусственного интеллекта
Сравнения кодинг-агентов
Сводные таблицы результатов кодинг-агентов на стандартизированных задачах: точность, число попыток, стоимость.
Что здесь появится
Таблицы сравнения кодинг-агентов на стандартизированных задачах: точность pass@1, число попыток, стоимость и время на задачу. Заполняются собственными прогонами Airuns и публичными данными из пермиссивных источников (Terminal-Bench, LMArena WebDev).
Сравнения и измерения готовятся
Мы не публикуем вымышленные оценки. Собственные замеры Airuns для этой категории ещё не проведены; таблицы результатов появятся только вместе с проверенными прогонами, методологией и источниками.
Мы не публикуем вымышленные оценки. Собственные замеры Airuns для этой категории ещё не проведены; таблицы результатов появятся только вместе с проверенными прогонами, методологией и источниками.
Источники
Публичные источники с пермиссивными условиями, данные которых можно публиковать со ссылкой:
- Terminal-Bench — Apache-2.0
- LMArena WebDev — CC-BY-4.0