Analyzing coding agent transcripts to upper bound productivity gains from AI agents

Analyzing coding agent transcripts to upper bound productivity gains from AI agents проверяет, можно ли оценивать выигрыш времени по журналам реальной работы с Claude Code. METR получила большой разброс оценок, но прямо рассматривает его как мягкую верхнюю границу, а не как измеренный причинный прирост продуктивности.

Данные и расчёт

Исследование охватывает 5 305 транскриптов Claude Code, созданных в январе 2026 года семью техническими сотрудниками METR. GPT-4o сжимал длинные журналы, сохраняя изменения кода, а GPT-5 оценивал, сколько времени опытному инженеру с нужным контекстом потребовалось бы для воспроизведения полезного результата без ИИ.

Фактическое время работы с ИИ оценивалось по десятиминутным окнам с сообщениями пользователя. Параллельные сессии одного человека в одном окне не суммировались. Отношение предполагаемого времени без ИИ к оценённому времени с ИИ автор называет коэффициентом экономии времени.

Полученная верхняя граница

После бутстрэппинга дневных оценок коэффициенты для семи сотрудников находились примерно между 1,5× и 13× на задачах, попавших в транскрипты. Это не означает, что сотрудники создавали в 1,5–13 раз больше ценности или что весь их рабочий день ускорился в такой пропорции.

Оценка относится только к выбранным для Claude Code задачам. Люди чаще передают агенту работу, где ожидают пользу, могут выполнять благодаря низкой стоимости необязательные задачи и продолжают тратить время на встречи и другую работу вне транскриптов. Поэтому METR считает полученный коэффициент мягкой верхней границей реального прироста.

Параллельная работа агентов

Более высокая дневная параллельность сессий коррелировала с большим коэффициентом экономии времени. У сотрудника с самой высокой оценкой в активные дни работало в среднем не менее 2,32 основных и 2,74 всех агентов, тогда как у остальных показатели были ниже.

Выборка состоит всего из семи сотрудников, а способы работы и типы задач различаются. Корреляция не устанавливает причинность: опытный пользователь может одновременно лучше выбирать задачи, эффективнее организовывать агентов и получать более высокую модельную оценку.

Ограничения метода

LLM-судью сверили лишь с 34 человеческими оценками, причём его прогнозы обычно отличались от них в 2–3 раза и чаще завышали время без ИИ. Проверка успешности подзадач отдельно не валидировалась. Транскрипты относятся к одному инструменту, одной организации и одному месяцу, а работа без агента не наблюдалась напрямую.

Это исследовательская заметка и разведочный метод, а не рандомизированное сравнение. Её главный вклад — способ анализировать реальную агентную работу и перечень смещений, которые надо устранить перед использованием транскриптов для оценки продуктивности.