Writing Code vs. Shipping Code: Productivity Effects Across Generations of AI Coding Tools

Writing Code vs. Shipping Code: Productivity Effects Across Generations of AI Coding Tools показывает, как крупные оценки прироста кодирования ослабевают по мере продвижения к проектам, релизам и использованию приложений. Работа охватывает более 100 тысяч разработчиков, но остаётся наблюдательным квазиэкспериментом с сильными предпосылками, а не рандомизированным испытанием.

Данные и поколения инструментов

Авторы объединили публичную активность GitHub с закрытой телеметрией Microsoft по GitHub Copilot. Они различают автодополнение, синхронных агентов, работающих рядом с разработчиком, и асинхронных агентов, которым поручают задачу до готового pull request. Данные охватывают поколения инструментов с 2022 года; история GitHub собрана по март 2026 года.

Для связи разработки с конечным выпуском исследователи также построили месячные панели Apple App Store, Google Play Store, Chrome Web Store и SourceForge по май 2026 года. В них учитывались даты появления приложений и доступные показатели раннего спроса — оценки или загрузки.

Квазиэкспериментальный дизайн

Для каждого наблюдаемого внедрения авторы подбирали активного разработчика из той же календарной недели годом ранее и сопоставляли предшествующую активность. Затем событийное исследование сравнивало нормированные изменения вокруг даты внедрения; оценки выражают средний индивидуальный процентный сдвиг относительно собственного базового уровня.

Такой дизайн уменьшает загрязнение контрольной группы скрытым использованием ИИ и учитывает наблюдаемую активность, но не устраняет ненаблюдаемые различия между людьми и эпохами. Причинная интерпретация требует предположения о параллельных трендах и отсутствии иных одновременных изменений.

От коммитов до релизов

Оценённый накопленный эффект на число коммитов составил около 40% для автодополнения, 140% после добавления синхронных агентов и 180% после появления асинхронных агентов. Для последнего поколения оценка ослабевала примерно до 50% на числе затронутых проектов и до 30% на релизах.

Авторы связывают затухание с человеческими узкими местами: созданный ИИ код всё ещё надо понять, проверить, объединить и выпустить. Оценённая эластичность замещения между результатом ИИ и человеческими усилиями равна 0,25, что в модели исследования означает сильную взаимодополняемость, а не полную заменяемость.

Приложения появились, использование не выросло

На нескольких площадках после середины 2025 года стало выходить больше новых приложений, но суммарные рейтинги или загрузки когорт за первые три месяца не выросли. Одновременно увеличилась доля приложений, не достигших даже небольшого порога аудитории.

Эта часть описательна и не связывает конкретное приложение с агентным инструментом. Она не различает низкое качество, проблемы обнаружения и медленное принятие пользователями, поэтому подтверждает разрыв между выпуском и использованием, но не его причину.

Ограничения

Исследование в основном видит публичный GitHub, использует закрытые данные одного поставщика и сравнивает разные группы пользователей инструментов. Оно косвенно судит о качестве по потреблению приложений, не охватывает внутреннее корпоративное ПО и не доказывает переносимость оценок за пределы разработки. Двое авторов раскрывают оплачиваемую консультативную работу для Microsoft, чья телеметрия используется в анализе.

Главный вывод устойчив к более осторожной формулировке: рост локального выпуска кода не следует автоматически считать ростом поставленного и используемого программного продукта.