Investigating Autonomous Agent Contributions in the Wild: Activity Patterns and Code Change over Time
Investigating Autonomous Agent Contributions in the Wild сравнивает видимые pull request пяти кодирующих агентов с человеческими изменениями и прослеживает раннюю судьбу добавленных строк. Агентные изменения чаще крупнее и немного чаще перерабатываются, но различия малы и не доказывают более низкое качество.
Методология и данные
1 блокОписательное сравнение GitHub pull request, найденных по веткам, bot-аккаунтам и watermark; для survival и churn стратифицированно отобрано по 1 560 коммитов каждого агента и людей. Рандомизации и сопоставления по типу задачи нет.
Ключевые результаты
4 блока111 969 pull request
Ключевой вывод
Корпус сравнивает Codex, Claude Code, Copilot, Jules и Devin с человеческими pull request в одном трёхмесячном окне 2025 года.
Изменения агентов обычно крупнее
Ключевой вывод
Медиана Claude Code составила 376 изменённых строк против примерно 60 у людей, но Codex использовался иначе, а эффекты сильно зависели от инструмента и задач.
По 1 560 коммитов на группу
Ключевой вывод
Survival, churn и удаления измерялись только для слитых изменений через три дня, неделю и три недели со стратификацией по популярности проекта.
Различия малы и не причинны
Ключевой вывод
У агентов полное сохранение строк было немного ниже, churn — выше, но переработка не равна дефекту, а task mix и атрибуция остаются смешивающими факторами.
Подробности из отчетаПоказатьСкрыть
Investigating Autonomous Agent Contributions in the Wild сравнивает видимые pull request пяти кодирующих агентов с человеческими изменениями и прослеживает раннюю судьбу добавленных строк. Агентные изменения чаще крупнее и немного чаще перерабатываются, но различия малы и не доказывают более низкое качество.
Формальная публикация и данные
Работа опубликована в техническом треке MSR 2026, а анализируемые pull request собраны за июнь–август 2025 года. Через GitHub GraphQL авторы получили 111 969 pull request: от OpenAI Codex, Claude Code, GitHub Copilot, Google Jules, Devin и отдельную человеческую выборку.
Для активных агентов применялось распределённое по времени семплирование, для Jules и Devin включались все найденные записи. Человеческие pull request собирались в том же трёхмесячном окне; известные bot- и agent-сигналы исключались, но невидимое использование ИИ могло остаться.
Различия pull request
Агентные pull request обычно были крупнее и сильнее смещены к добавлению кода. Например, медиана Claude Code составляла 376 изменённых строк, человеческая — около 60, тогда как Codex чаще использовался для меньших изменений. Из-за длинных хвостов статистическая значимость сочеталась с небольшими или умеренными размерами эффектов.
Merge rate и время сильно различались между инструментами и популярностью проектов. Codex и Jules могли проходить предварительную проверку вне GitHub, а агенты имели разные механизмы запуска, поэтому скорость слияния нельзя напрямую трактовать как качество или экономию ревью.
Короткое окно выживания и churn
Для анализа изменений авторы стратифицированно отобрали по 1 560 коммитов каждого агента и людей из уже слитых pull request. Они проверяли, сохранились ли строки и каков churn через три дня, одну неделю и три недели.
Доля коммитов, где сохранились все первоначально добавленные строки, была выше у людей; размеры эффектов были небольшими — Cliff’s delta примерно от −0,05 до −0,14. Медианный churn и доля удалений у агентов были выше, но эффекты также оставались небольшими, примерно 0,04–0,29, и большая часть переработки происходила в первые дни.
Эти метрики фиксируют синтаксическое изменение строк. Переработка может означать исправление дефекта, изменение требований, форматирование, документацию или нормальное развитие кода, поэтому churn не равен ошибочности и не устанавливает причинный ущерб.
Ограничения сравнения
Большинство agent pull request приходилось на репозитории без звёзд; человеческая выборка была смещена к более популярным проектам. Стратификация снижает, но не устраняет различия в задачах, зрелости, разработчиках и правилах ревью. Атрибуция основана на ветках, bot-аккаунтах и отключаемых watermark, поэтому охватывает только видимую часть работы.
Трёхнедельное окно не показывает долгосрочную сопровождаемость, технический долг или инциденты. Исследование даёт сильное описательное сравнение реальных артефактов, но не причинную оценку качества отдельных агентов.