AI IDEs or Autonomous Agents? Measuring the Impact of Coding Agents on Software Development

AI IDEs or Autonomous Agents? сравнивает внедрение автономных кодирующих агентов в проектах без видимых ИИ-инструментов и в проектах, уже использовавших ИИ-среды разработки. Прирост объёма обнаружен главным образом в первой группе, тогда как рост сложности наблюдался в обеих; причинность остаётся условной из-за наблюдательного дизайна и прокси внедрения.

Данные и группы сравнения

Исследование использует AIDev v3 и историю GitHub с января 2024 года по ноябрь 2025 года. Датой внедрения считается первый pull request, приписанный кодирующему агенту. Авторы требуют минимум 10 звёзд и 10 агентных pull request, чтобы исключить учебные проекты и единичные эксперименты.

В группу agent-first вошёл 401 репозиторий без видимых следов прежних ИИ-сред разработки; им сопоставили 606 контрольных проектов. Группа IDE-first включала 117 репозиториев с более ранними конфигурационными следами Copilot, Cursor или Windsurf и 73 контроля с похожей историей.

Квазиэкспериментальный метод

Авторы применяют сопоставление по склонности и разность разностей со ступенчатым внедрением. Скорость измеряется числом коммитов и добавленных строк, а сопровождаемость — предупреждениями SonarQube, когнитивной сложностью, дублированием и плотностью комментариев.

Метод корректирует наблюдаемые траектории и временные факторы, однако не рандомизирует внедрение. Оценка показывает эффект наблюдаемого факта первого агентного pull request, а не интенсивности использования или конкретной модели.

Разный прирост объёма

В проектах agent-first средняя оценка после внедрения составила +36,25% коммитов и +76,59% добавленных строк. Для IDE-first оценки были значительно слабее — +3,06% коммитов и −6,34% строк — и не дали надёжного прироста скорости.

Авторы интерпретируют различие как уменьшающуюся дополнительную отдачу: проекты, уже получившие выгоду от ИИ-среды, не обязательно ускоряются ещё сильнее при подключении автономного агента. Но группы отличаются зрелостью и размером, поэтому механизм не установлен напрямую.

Сложность растёт в обеих группах

В agent-first предупреждения статического анализа выросли на 17,73%, а когнитивная сложность — на 34,85%. Для IDE-first соответствующие оценки составили 19,00% и 42,87%, причём оценка предупреждений в меньшей группе была неточной, а рост сложности — статистически значимым.

Дублирование изменилось мало и непоследовательно. Результат указывает прежде всего на структурную нагрузку сопровождения, но метрики статического анализа нельзя автоматически приравнивать к дефектам, инцидентам или снижению пользовательской ценности.

Зависимость доказательств и ограничения

Работа построена на корпусе AIDev и относится к той же исследовательской семье, что и базовый набор AIDev; её нельзя считать независимой репликацией исследований, использующих те же pull request. Метод также близок к Speed at the Cost of Quality и частично разделяет с ним авторов и аналитические решения.

Атрибуция агентов и следов IDE может ошибаться, интенсивность работы не наблюдается, а отдельные значимые коэффициенты до внедрения вызывают осторожность относительно предположения параллельных трендов. Небольшая IDE-first выборка, публичный GitHub и неодинаковая зрелость групп дополнительно ограничивают переносимость. Формальная публикация MSR 2026 делает работу исследованием 2026 года, но измеряет события 2024–2025 годов.