University of California, Irvine

15 января 2026 г.МирДвухлетние изменения в производстве, отладке, редактировании, повторном использовании кода и переключении контекста у 800 разработчиков, дополненные опросом и интервью.

Evolving with AI: A Longitudinal Analysis of Developer Logs

Evolving with AI сравнивает то, как разработчики описывают влияние ИИ, с тем, что видно в двухлетней телеметрии IDE. Пользователи JetBrains AI Assistant со временем набирали и удаляли больше кода, а многие изменения рабочего процесса оставались слабозаметными в самооценках.

Глубинные интервьюСтатистический анализОпросАнализ телеметрииОткрыть источник

Методология и данные

1 блок

Смешанное наблюдательное исследование: более 151 млн событий IDE с октября 2022 по октябрь 2024 года, сравнение 400 постоянных пользователей JetBrains AI Assistant и 400 неиспользовавших его устройств, опрос 62 разработчиков и пять интервью.

Глубинные интервьюСтатистический анализОпросАнализ телеметрии

Ключевые результаты

4 блока

Более 151 млн событий IDE

Ключевой вывод

Двухлетняя телеметрия 800 разработчиков дополнена опросом и интервью, чтобы сопоставить наблюдаемое поведение с восприятием.

Больше набора — и больше удаления

Ключевой вывод

У постоянных пользователей AI Assistant рос объём создаваемого кода, но вместе с ним увеличивалась и переработка результата.

82% чувствуют рост продуктивности

Ключевой вывод

Самооценка ускорения согласуется с ростом активности, но не показывает скрытую работу по проверке, удалению и интеграции.

Наблюдение не доказывает причинность

Ключевой вывод

Группы не распределялись случайно, а пользователи контрольной группы могли обращаться к другим ИИ-инструментам вне JetBrains IDE.

Подробности из отчетаПоказать

Данные и дизайн

Исследование, принятое в исследовательский трек ICSE 2026, объединяет 151 904 543 обезличенных события IDE от 800 разработчиков, опрос 62 специалистов и пять последующих интервью. Телеметрия охватывает период с октября 2022 по октябрь 2024 года и агрегирована по месяцам.

Авторы сформировали две равные наблюдательные группы. В первую вошли 400 устройств, взаимодействовавших с JetBrains AI Assistant каждый месяц с апреля по октябрь 2024 года; во вторую — 400 устройств, на которых этот помощник не использовался в течение изученных двух лет. Сравнение охватывает объём набора текста, запуск отладки, редактирование и удаление кода, внешнее повторное использование и переключение контекста.

Производство и переработка кода

Пользователи ИИ стабильно набирали больше символов, и разрыв между группами рос: оценочный месячный тренд составлял почти 600 дополнительных символов для группы ИИ против примерно 75 для группы без наблюдаемого использования помощника. Более 82% участников опроса также считали, что ИИ немного или значительно повысил их продуктивность.

Одновременно группа ИИ со временем удаляла больше кода. Анализ принятого кода показал, что почти пятая часть позднее удалялась, а около 7% существенно переписывалось. Это не обязательно означает низкое качество: телеметрия не раскрывает задачу и намерение, но показывает, что рост вывода сопровождается дополнительной работой по отбору и переработке.

Восприятие расходится с поведением

По запускам отладки у пользователей ИИ не было значимого временного изменения, хотя почти половина опрошенных субъективно отмечала улучшение качества кода. Для повторного использования внешнего кода и переключения контекста телеметрия фиксировала растущую активность, тогда как примерно половина респондентов не замечала изменений по большинству измерений.

Такое расхождение не делает один источник «правильнее» другого. Опрос описывает целостное ощущение работы, а события IDE — узкие наблюдаемые действия. Вместе они показывают перераспределение усилий: разработчик может ощущать ускорение, хотя одновременно больше проверяет, удаляет, интегрирует и переключается между контекстами.

Ограничения и значение для агентов

Группы не были распределены случайно и могли различаться ещё до внедрения. «Неиспользование» относится только к JetBrains AI Assistant: разработчики могли применять другие ИИ-инструменты вне IDE. Метрики вроде числа набранных символов — лишь приближения продуктивности, а телеметрия одного поставщика не видит ценность результата и командную работу.

Исследование относится в основном к эпохе IDE-помощников, а не автономных агентов. Тем ценнее его базовая линия: при дальнейшем росте агентности измерять нужно не только объём созданного кода, но и проверку, удаление, интеграцию и внимание человека — виды работы, которые простая метрика генерации скрывает.