Measuring AI agent autonomy in practice

Anthropic измеряет не предельные возможности агентов в лаборатории, а автономность, которую пользователи фактически предоставляют Claude Code и агентам на публичном API. Данные конца 2025 — начала 2026 года показывают рост длительных автономных эпизодов и переход опытных пользователей от пошагового одобрения к наблюдению с вмешательством по необходимости.

Данные и метод

Исследование объединяет два источника, обработанных с помощью инфраструктуры для анализа с сохранением приватности. Полные интерактивные сессии Claude Code позволяют измерять длительность работы между вмешательствами, автоматическое одобрение действий, остановки и уточняющие вопросы. Публичный API даёт более широкий срез тысяч развёртываний, но там авторы видят только отдельные вызовы инструментов, а не целые цепочки действий.

Для анализа риска и автономности Anthropic случайно отобрала 998 481 вызов инструмента в публичном API и классифицировала их по шкалам от 1 до 10. Отдельные выводы о причинах остановок построены на выборках из 500 тыс. человеческих прерываний и 500 тыс. завершённых ходов Claude Code. Классификацию выполнял Claude, а результаты агрегировались только при достаточном числе наблюдений.

Автономность и надзор

Медианный ход Claude Code занимал около 45 секунд, однако на самом длинном хвосте распределения произошёл заметный сдвиг: 99,9-й процентиль вырос с менее чем 25 минут осенью 2025 года до более чем 45 минут в начале января 2026 года. Плавность роста между релизами моделей указывает, что на показатель влияют не только возможности модели, но и опыт пользователей, сложность задач и развитие продукта.

С опытом меняется форма контроля. Новые пользователи включали полное автоматическое одобрение примерно в 20% сессий, а после сотен сессий — более чем в 40%. Одновременно частота прерываний возрастала примерно с 5% до 9% ходов. Это наблюдательная связь: она показывает переход к контролю через мониторинг и точечное вмешательство, но не доказывает, что опыт сам по себе вызывает такое поведение.

Где работают агенты

Почти половина вызовов инструментов в API относилась к разработке ПО. Около 80% вызовов, по оценке классификатора, имели хотя бы один защитный механизм, в 73% наблюдалось участие человека и лишь 0,8% действий выглядели необратимыми. При этом редкие кластеры с повышенным риском присутствовали в безопасности, финансах и работе с медицинскими данными.

Claude Code на сложных задачах чаще сам останавливался для уточнения, чем пользователь прерывал его. Авторы трактуют такие остановки как дополнительный контур надзора: эффективное управление агентом включает не только разрешения и подтверждения, но и способность системы распознавать неопределённость и запрашивать контекст.

Ограничения и практический смысл

Исследование охватывает продукты одного поставщика. API-выборка считает отдельные вызовы инструментов и поэтому сильнее представляет многошаговые сценарии; классификатор не всегда различает производственную работу, тесты и проверки безопасности. Длительность хода также не равна сложности задачи или полезности результата.

Для инженерных команд главный вывод состоит не в отказе от контроля, а в его перестройке. По мере роста автономности нужны журналы действий, наблюдаемость, простые механизмы остановки и проверка результата после выполнения, а не только подтверждение каждого промежуточного шага.