Живой корпусСрез: 11 июл. 2026 г.

Кандидаты мета-исследования 2026

Публикации, которых не было в baseline 2025 года. Сейчас это карта источников и качества доказательств — итоговый межисследовательский синтез ещё не проводился.

Состав текущего среза

Счётчики строятся из опубликованного корпуса и обновляются вместе с источником данных.

всего кандидатов

уже опубликованы

основной корпус

бенчмарки

контекст

лист ожидания

работ в baseline 2025

проверок организаций

Граница корпуса и уровни доказательности

Дата публикации отделена от периода измерения, а связанные работы объединяются в evidence families.

Мета-исследование 2026 года формирует проверяемый корпус публикаций о переходе к агентной разработке. На первом этапе страница показывает кандидатов и качество их доказательств; итоговый синтез появится после отдельного кодирования результатов.

Граница с предыдущим исследованием

Предыдущее мета-исследование фиксируется allowlist из 32 работ 2023–2025 годов. В baseline включена работа The Pragmatic Engineer 2025: она присутствовала в исходном корпусе, хотя не была отдельно процитирована на видимой странице.

Кандидатами нового цикла считаются публикации с формальной датой 2026 года, которых нет в baseline. Период измерения хранится отдельно: публикация 2026 года может описывать данные 2024–2025 годов и не доказывает, что наблюдаемый эффект возник именно в 2026 году.

Критерии включения

Материал должен быть связан с разработкой и поставкой ПО, использованием кодовых агентов, инженерной производительностью, качеством, безопасностью, DevEx или организационными условиями внедрения. Для основного корпуса требуется первичный источник и достаточно подробное описание данных или метода.

Новые отчёты организаций из корпуса 2025 года проверяются отдельно, включая продолжения ежегодных серий. Отсутствующий выпуск остаётся в листе ожидания с датой последней проверки и не учитывается как опубликованное исследование.

Четыре уровня доказательности

Основной эмпирический корпус

Опросы, телеметрия, продольные наблюдения, полевые и лабораторные эксперименты, квазиэксперименты и качественные исследования с раскрытой методологией. Даже здесь выводы взвешиваются по дизайну, выборке, измерениям и конфликту интересов.

Оценки возможностей и бенчмарки

Работы, проверяющие способность агентов выполнять задачи, взаимодействовать с репозиторием, проходить тесты, поддерживать безопасность или работать в длинном горизонте. Они показывают возможности системы, но не заменяют измерение реальной командной или бизнес-производительности.

Контекстные материалы

Отраслевые прогнозы, продуктовые отчёты, практические рамки, кейсы и исследования с неполной открытой методологией. Они помогают объяснять язык и направление изменений, но не используются как равноправное подтверждение эмпирических эффектов.

Лист ожидания

Анонсированные или ожидаемые выпуски без опубликованных результатов. Они отображаются для прозрачности поиска, но не входят в численность опубликованного корпуса.

Тематическое кодирование

Каждая работа размечается по направлениям: распространение и автономность; разделение труда человека и агента; производительность и качество; ревью и управление; безопасность; DevEx и обучение; методология измерения.

Связанные публикации получают общий evidence family. Это предотвращает двойной счёт работ, использующих один набор данных — например, AIDev, одну клиентскую когорту DX или близкие исследования одной группы CMU.

Ограничения текущего среза

Корпус быстро меняется и не является исчерпывающей библиографией всей области. Поставщики имеют уникальную телеметрию, но одновременно заинтересованы в продвижении своих продуктов; академические работы чаще воспроизводимы, но могут анализировать только открытые репозитории и ранних пользователей.

Поэтому страница не складывает проценты из разных исследований и не выводит «средний эффект AI». Задача текущей версии — показать, какие данные уже доступны, где они согласуются, где противоречат друг другу и какие ограничения необходимо сохранить при будущем синтезе.

Основной эмпирический корпус

Опросы, телеметрия, продольные наблюдения, эксперименты и качественные исследования с раскрытой методологией.

Оценки возможностей и бенчмарки

Проверки способности агентов решать задачи, работать с репозиториями и поддерживать качество или безопасность.

Контекстные материалы

Прогнозы, продуктовые отчёты, рамки и кейсы, полезные для контекста, но не равные эмпирическому доказательству.

Лист ожидания

Анонсированные или ожидаемые выпуски без опубликованных результатов; они не входят в опубликованный корпус.

Основной эмпирический корпус

Опросы, телеметрия, продольные наблюдения, эксперименты и качественные исследования с раскрытой методологией. В текущем срезе: 34.

Основной корпусВысокая уверенностьВ каталоге

Anthropic Economic Index report: Economic Primitives

Anthropic

Публикация

15 янв. 2026 г.

Период измерения

2026-01-15

Данные и охват

Около 1 млн диалогов Claude за ноябрь 2025 года: Claude.ai и 1P API.

Методика

Анализ транскриптов с сохранением приватности и таксономией экономических примитивов, которая классифицирует не только темы, но и типы рабочих действий.

Что сообщает источник

Задачи программирования доминируют в выборке: около трети в Claude.ai и почти половина в 1P API; исправление ошибок отмечается как наиболее частое намерение внутри программирования.

Почему это кандидат

Показывает фактические типы действий в крупной выборке диалогов.

Ограничение: Данные одного поставщика и не только о разработке.

Evidence family: anthropic-economic-index

РаспространениеЧеловек и агентstatisticstelemetry

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

The Cursor Developer Habits Report

Cursor

Публикация

16 мая 2026 г.

Период измерения

2025-01-01 — 2026-05-16

Данные и охват

Агрегированные продуктовые и инженерные данные Cursor: использование агентов, расход токенов, принятые изменения, предложенные ИИ, и активность смёрженных запросов на слияние.

Методика

Телеметрический анализ со скользящими средними за 7, 28 и 30 дней по сигналам использования Cursor и инженерной активности.

Что сообщает источник

С начала 2025 года до весны 2026 года число добавленных строк на разработчика в неделю выросло примерно с 3,6 тыс. до 8,6 тыс.; запросы на слияние стали крупнее, а сессии кодовых агентов глубже.

Почему это кандидат

Связывает использование агентов с продуктовой и инженерной телеметрией.

Ограничение: Закрытая клиентская когорта и корреляционный дизайн.

Evidence family: cursor-telemetry

РаспространениеСкорость и качествоtelemetrystatistics

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

Developers in the Age of AI: Adoption, Policy, and Diffusion of AI Software Engineering Tools

Авторы исследования

Публикация

29 янв. 2026 г.

Период измерения

2026-01-29

Данные и охват

Опрос 147 профессиональных разработчиков о принятии ИИ-инструментов, частоте использования, корпоративных политиках, воспринимаемой продуктивности и качестве

Методика

Эмпирическое опросное исследование внедрения ИИ-инструментов в разработке ПО; анализирует самооценку разработчиков, организационные ограничения и практики проверки результата.

Что сообщает источник

Частота и широта использования ИИ-инструментов коррелируют с более высокой самооценкой продуктивности и качества, но сохраняются барьеры безопасности, политики применения и разрыв в проверке сгенерированного кода.

Почему это кандидат

Даёт срез внедрения, политик и практик проверки.

Ограничение: Небольшой добровольный опрос и самооценка эффектов.

РаспространениеРевью и управлениеDevEx и обучениеsurveystatistics

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

GitLab Research Reveals Organizations Are Generating AI Code Faster Than They Can Control It

GitLab

Публикация

23 июн. 2026 г.

Период измерения

2026-06-01 — 2026-06-23

Данные и охват

1 528 разработчиков, технических руководителей и специалистов по закупке инженерных инструментов; внедрение, управление, прослеживаемость и ответственность за код, созданный ИИ

Методика

Опрос 1 528 разработчиков, технических руководителей и специалистов, влияющих на закупку инженерных инструментов, о внедрении ИИ в разработке, качестве, прослеживаемости, окупаемости и управлении кодом, созданным ИИ.

Что сообщает источник

91% организаций используют два или более инструмента ИИ для программирования, но 85% видят смещение узкого места в проверку и подтверждение качества, а 80% внедрили ИИ быстрее, чем успели оформить политики управления.

Почему это кандидат

Измеряет разрыв между генерацией кода и управлением им.

Ограничение: Заказной опрос поставщика и самоотчёт.

Ревью и управлениеБезопасностьСкорость и качествоsurveystatistics

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

Achieving Productivity Gains with AI-based IDE features: A Journey at Google

Google

Публикация

27 янв. 2026 г.

Период измерения

2026-01-27

Данные и охват

2 функции IDE: автодополнение кода и Transform Code; A/B-тесты с 2,5 тыс. и 10 тыс.+ пользователей на группу; причинный анализ Transform Code на 36 тыс. пользователей внедрения и 18 тыс. пользователей контроля за период ноябрь 2023 — декабрь 2024.

Методика

Кейс внедрения ИИ-функций в IDE Google с итерациями по пользовательскому опыту, задержке и качеству на основе онлайн A/B-экспериментов. Для автодополнения измерялись доля принятых подсказок и FCML; для Transform Code использовался Difference-in-Differences по логам инженерной работы.

Что сообщает источник

Для Transform Code: +17,5% пропускной способности после внедрения (95% CI [15,9%, 19,0%]) и -3,6% длительности исследовательских сессий; для автодополнения после оптимизаций достигнуты FCML 28,7% и 45% принятых подсказок.

Почему это кандидат

Сочетает A/B-тесты и причинный анализ реальной инженерной телеметрии.

Ограничение: Один крупный внутренний контекст и прокси-метрики.

Скорость и качествоИзмерениеexperimenttelemetrystatisticscase_studies

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

The State of DevOps Modernization 2026

Harness · Coleman Parkes

Публикация

11 мар. 2026 г.

Период измерения

2026-02-01 — 2026-02-28

Данные и охват

700 инженерных практиков и руководителей в США, Великобритании, Франции, Германии и Индии.

Методика

Заказной международный опрос, проведённый в феврале 2026 года, с сегментацией по интенсивности использования ИИ при написании кода.

Что сообщает источник

При более частом использовании ИИ при написании кода команды показывают выше скорость поставки, но хуже стабильность и MTTR, а также большую последующую операционную нагрузку.

Почему это кандидат

Показывает связь интенсивности AI и зрелости DevOps.

Ограничение: Заказной международный опрос и самооценка.

РаспространениеСкорость и качествоРевью и управлениеsurveystatistics

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

State of Agent Engineering

LangChain

Публикация

25 февр. 2026 г.

Период измерения

2026-02-25

Данные и охват

Более 1 300 специалистов из инженерии, продукта, бизнеса и руководства; внедрение агентов, рабочая эксплуатация, наблюдаемость и формальные оценки.

Методика

Опрос более 1 300 специалистов о сценариях применения ИИ-агентов, зрелости внедрения, барьерах и инженерных практиках.

Что сообщает источник

57% организаций уже используют агентов в рабочих процессах; качество остаётся главным барьером, наблюдаемость почти стала стандартом, а формальные оценки всё ещё отстают.

Почему это кандидат

Описывает зрелость эксплуатации агентов и практики оценки.

Ограничение: Выборка шире разработки ПО и связана с экосистемой поставщика.

РаспространениеРевью и управлениеИзмерениеsurveystatistics

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

We are Changing our Developer Productivity Experiment Design

METR

Публикация

24 февр. 2026 г.

Период измерения

2026-02-24

Данные и охват

57 разработчиков, 143 репозитория и более 800 задач в серии экспериментов METR по влиянию ИИ-инструментов на скорость решения задач разработки

Методика

Рандомизированное сравнение выполнения задач с доступом к ИИ-инструментам и без него; обновление 2026 года пересматривает дизайн, чтобы снизить смещение отбора задач и неопределенность интерпретации.

Что сообщает источник

METR показывает, что оценки влияния ИИ на продуктивность чувствительны к дизайну эксперимента: ранний сигнал замедления и более поздний возможный сигнал ускорения требуют осторожного чтения из-за смещения отбора.

Почему это кандидат

Показывает, как широкое внедрение агентов ломает прежний экспериментальный дизайн.

Ограничение: Численный uplift авторы считают ненадёжным.

Evidence family: metr-productivity-2026

Скорость и качествоИзмерениеexperimentstatisticscase_studies

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

2026 State of DevOps Report

Perforce · Panterra

Публикация

24 февр. 2026 г.

Период измерения

2025-11-01 — 2025-12-31

Данные и охват

Глобальный опрос 820 технических специалистов о зрелости DevOps-практик, использовании ИИ и связи между инженерными процессами и результатами внедрения

Методика

Глобальный опрос Perforce и Panterra, проведенный в ноябре - декабре 2025 года; результаты отражают самооценку зрелости DevOps и восприятие влияния ИИ на инженерные организации.

Что сообщает источник

Зрелость DevOps-процессов сильно связана с успешностью ИИ-инициатив: около 70% респондентов отмечают влияние инженерной операционной модели на результативность внедрения ИИ.

Почему это кандидат

Даёт глобальный срез DevOps-зрелости и AI.

Ограничение: Самооценка и заказной опрос.

РаспространениеСкорость и качествоРевью и управлениеsurveystatistics

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

State of Code Developer Survey 2026

Sonar

Публикация

8 янв. 2026 г.

Период измерения

2025-10-01 — 2025-10-31

Данные и охват

Количественный онлайн-опрос 1 149 разработчиков по всему миру о ежедневном использовании ИИ, доле ИИ-кода, доверии и проверке перед фиксацией изменений

Методика

Онлайн-опрос разработчиков, полевой этап в октябре 2025 года; результаты отражают самооценку использования ИИ-помощников и практик проверки кода.

Что сообщает источник

72% разработчиков используют ИИ ежедневно, около 42% кода создается с его помощью, 96% не готовы полностью доверять ИИ-коду, а только 48% всегда проверяют такой код перед фиксацией или слиянием.

Почему это кандидат

Измеряет долю AI-кода, доверие и проверку.

Ограничение: Онлайн-опрос поставщика и ретроспективная самооценка.

РаспространениеСкорость и качествоРевью и управлениеsurveystatistics

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

Agents on a leash: Agentic AI remains mostly single-agent and monitored at work

Stack Overflow

Публикация

27 мая 2026 г.

Период измерения

2026-04-01 — 2026-04-30

Данные и охват

1 100 разработчиков и работающих специалистов; пульс-опрос о применении ИИ-агентов на работе.

Методика

Пульс-опрос, проведённый в конце апреля 2026 года; для оценки динамики внедрения ИИ-агентов результат сопоставляется со Stack Overflow Developer Survey 2025.

Что сообщает источник

Использование ИИ-агентов на работе почти удвоилось — с 31% до 59%, но 63% технических специалистов редко или никогда не разрешают агентам работать полностью автономно; доминируют схемы с одним агентом и человеческим контролем.

Почему это кандидат

Прямо измеряет автономность и конфигурацию рабочих агентов.

Ограничение: Краткий пульс-опрос и смешанная аудитория.

РаспространениеЧеловек и агентРевью и управлениеsurvey

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

The State of Generative AI in Software Development

Авторы исследования

Публикация

17 мар. 2026 г.

Период измерения

2026-03-17

Данные и охват

Систематический обзор литературы и опрос 65 разработчиков о применении генеративного ИИ в жизненном цикле разработки ПО.

Методика

Смешанный дизайн: систематический обзор литературы по генеративному ИИ в разработке ПО и отдельный опрос практикующих разработчиков.

Что сообщает источник

Наибольший эффект отмечается на этапах проектирования, реализации, тестирования и документации, а в опросе 79% респондентов сообщили о ежедневном использовании инструментов генеративного ИИ.

Почему это кандидат

Соединяет обзор литературы и опрос практиков.

Ограничение: Небольшая выборка опроса и неоднородная литература.

РаспространениеСкорость и качествоИзмерениеsurveycase_studiesstatistics

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

SWE-chat: Coding Agent Interactions From Real Users in the Wild

Авторы исследования · Stanford University

Публикация

22 апр. 2026 г.

Период измерения

2026-04-01 — 2026-04-22

Данные и охват

Около 6 000 реальных сессий кодовых агентов из 200+ публичных GitHub-репозиториев; 63 000+ подсказок и 355 000+ вызовов инструментов.

Методика

Наблюдательный анализ реальных сессий агентов: Entire.io CLI связывает расшифровки взаимодействий, вызовы инструментов, git-диффы, контрольные точки и коммиты с построчной атрибуцией кода человеку или агенту.

Что сообщает источник

Только 44% кода, созданного агентом, сохраняется в пользовательских коммитах; в 41% сессий агент пишет почти весь закоммиченный код, а в 44% шагов взаимодействия пользователи возражают агентному результату.

Почему это кандидат

Анализирует тысячи реальных сессий кодовых агентов.

Ограничение: Публичные opt-in репозитории и наблюдательный дизайн.

Evidence family: agent-session-telemetry

Человек и агентРевью и управлениеtelemetrystatistics

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

Measuring AI agent autonomy in practice

Anthropic

Публикация

18 февр. 2026 г.

Период измерения

Не раскрыт или ещё не применим

Данные и охват

Миллионы взаимодействий с агентами в Claude Code и публичном API Anthropic в конце 2025 — начале 2026 года; автономность, человеческий надзор, риск и области применения.

Методика

Анализ полных сессий Claude Code и отдельных вызовов инструментов публичного API с сохранением приватности; модельная классификация сложности, автономности, риска и механизмов надзора, включая выборку из 998 481 API-вызова.

Что сообщает источник

Длительные эпизоды автономной работы росли, опытные пользователи чаще включали автоодобрение и одновременно чаще прерывали агента, а разработка ПО составляла почти половину агентной активности в API.

Почему это кандидат

Измеряет фактическую автономность, остановки и вмешательства в миллионах взаимодействий.

Ограничение: Один поставщик, модельная классификация и неполная видимость клиентских архитектур.

Evidence family: anthropic-claude-usage

РаспространениеЧеловек и агентБезопасностьstatisticstelemetry

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

Agentic coding and persistent returns to expertise

Anthropic

Публикация

16 июн. 2026 г.

Период измерения

2025-10-01 — 2026-04-30

Данные и охват

Около 400 тыс. интерактивных сессий Claude Code примерно 235 тыс. пользователей с октября 2025 по апрель 2026 года: состав задач, разделение решений, компетентность и признаки успеха.

Методика

Анализ транскриптов и телеметрии с сохранением приватности; модельная классификация вида работы, профессии, предметной компетентности, решений и исхода сессии, дополненная проверяемыми сигналами тестов и git-активности.

Что сообщает источник

Люди принимали около 70% решений о планировании, Claude — около 80% решений об исполнении; более высокая предметная компетентность была связана с большей работой агента на запрос и более частым успехом.

Почему это кандидат

Показывает разделение планирования и исполнения и роль предметной экспертизы.

Ограничение: Успех сессии не равен ценности результата после выпуска.

Evidence family: anthropic-claude-usage

Человек и агентDevEx и обучениеСкорость и качествоstatisticstelemetry

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

Anthropic Economic Index report: Cadences

Anthropic

Публикация

26 июн. 2026 г.

Период измерения

2026-04-10 — 2026-06-10

Данные и охват

Использование Claude.ai, Cowork, Claude Code и собственного API весной 2026 года: временные ритмы, созданные артефакты, автономность и связанный опрос около 9 700 пользователей.

Методика

Непрерывная выборка телеметрии с часовой детализацией, модельная классификация запросов и результатов с сохранением приватности, сопоставление с профессиями и связанный опрос пользователей.

Что сообщает источник

Claude Code показывал более высокую автономность почти для всех типов результата, а более дорогие и сложные артефакты сопровождались одновременно большими затратами вычислений и более активным участием человека.

Почему это кандидат

Сопоставляет ритм делегирования в чате и агентной поверхности.

Ограничение: Данные экосистемы Claude и связанные самоотчёты.

Evidence family: anthropic-claude-usage

РаспространениеЧеловек и агентstatisticssurveytelemetry

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

How AI Impacts Skill Formation

Anthropic

Публикация

28 янв. 2026 г.

Период измерения

Не раскрыт или ещё не применим

Данные и охват

Освоение незнакомой библиотеки асинхронного программирования Python: скорость выполнения, концептуальное понимание, чтение кода и отладка у 52 разработчиков.

Методика

Предварительно зарегистрированный межгрупповой рандомизированный эксперимент: две задачи с GPT-4o или без ИИ, затем одинаковая проверка знаний без ИИ; дополнительно качественный анализ записей экрана.

Что сообщает источник

ИИ не дал статистически значимого ускорения в среднем, но группа с ИИ набрала примерно на 17% меньше в последующем тесте; взаимодействия с активным осмыслением лучше сохраняли обучение, чем полное делегирование.

Почему это кандидат

Пререгистрированный эксперимент измеряет влияние AI на формирование навыка.

Ограничение: Малая лабораторная выборка и чат-помощник вместо автономного агента.

Evidence family: anthropic-skill-rct

DevEx и обучениеСкорость и качествоexperiment

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

The AI-native SDLC is paying off: 19% more PRs and 2–3 hours saved per developer per week

Atlassian

Публикация

31 мая 2026 г.

Период измерения

Не раскрыт или ещё не применим

Данные и охват

Влияние Rovo Dev на поток запросов на слияние (PR) в 3 400 клиентских репозиториях и самооценку экономии времени более чем у 6 200 разработчиков Atlassian.

Методика

Квазиэкспериментальное сравнение до и после внедрения с сопоставлением по вероятности внедрения, дополненное внутренним опросом; для времени использован консервативный 20-й процентиль и поправка на интенсивность использования.

Что сообщает источник

Внедрение Rovo Dev было связано с ростом числа слитых PR на 19%; после поправки на интенсивность использования Atlassian оценивает экономию в 2–3 часа на разработчика в неделю.

Почему это кандидат

Квазиэксперимент связывает агентное использование с пропускной способностью репозиториев.

Ограничение: Собственный продукт Atlassian, не RCT; качество и удовлетворённость измерены неполно.

Evidence family: atlassian-rovo-dev

Скорость и качествоРевью и управлениеИзмерениеstatisticssurveytelemetry

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

Which AI Coding Tools Do Developers Actually Use at Work?

JetBrains

Публикация

2 апр. 2026 г.

Период измерения

2026-01-01 — 2026-01-31

Данные и охват

Осведомлённость, рабочее использование и удовлетворённость ИИ-помощниками, редакторами и агентами среди более чем 10 тыс. профессиональных разработчиков в январе 2026 года.

Методика

Глобальный онлайн-опрос AI Pulse на восьми языках с региональными квотами и итеративным взвешиванием по региону, опыту и знакомству с JetBrains; набор преимущественно через небредированную рекламу.

Что сообщает источник

90% респондентов регулярно использовали ИИ для рабочих задач разработки, 74% — специализированные инструменты; GitHub Copilot лидировал с 29%, а Cursor и Claude Code использовали по 18%.

Почему это кандидат

Крупный взвешенный срез фактического использования кодовых агентов на работе.

Ограничение: Самоотчёт и рынок, быстро изменившийся после полевого этапа.

Evidence family: jetbrains-ai-pulse

РаспространениеЧеловек и агентsurvey

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

Evolving with AI: A Longitudinal Analysis of Developer Logs

JetBrains · University of California, Irvine

Публикация

15 янв. 2026 г.

Период измерения

2022-10-01 — 2024-10-31

Данные и охват

Двухлетние изменения в производстве, отладке, редактировании, повторном использовании кода и переключении контекста у 800 разработчиков, дополненные опросом и интервью.

Методика

Смешанное наблюдательное исследование: более 151 млн событий IDE с октября 2022 по октябрь 2024 года, сравнение 400 постоянных пользователей JetBrains AI Assistant и 400 неиспользовавших его устройств, опрос 62 разработчиков и пять интервью.

Что сообщает источник

Пользователи ИИ со временем набирали и удаляли больше кода; самооценки подтверждали рост продуктивности, но часто не отражали наблюдаемые изменения редактирования, повторного использования и переключения контекста.

Почему это кандидат

Сочетает два года IDE-логов, опрос и интервью.

Ограничение: Данные до октября 2024 года, один поставщик и typed characters как прокси.

Evidence family: jetbrains-hax

Скорость и качествоDevEx и обучениеinterviewsstatisticssurveytelemetry

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

State of AI 2026

Devographics

Публикация

12 мая 2026 г.

Период измерения

2026-04-08 — 2026-05-08

Данные и охват

Открытый опрос 7 258 преимущественно веб-разработчиков об использовании моделей, помощников и агентов, доле ИИ-кода, расходах, проблемах, рисках и отношении к технологии.

Методика

Общедоступный онлайн-опрос с необязательными вопросами и публичным проектированием анкеты; участники привлекались из сообщества прошлых опросов Devographics и социальных сетей без случайного отбора.

Что сообщает источник

Среди ответивших средняя самооценочная доля ИИ-кода достигла 54% против 28% годом ранее, а 72% считали ИИ неотъемлемой частью рабочего процесса; главными проблемами оставались неточности, качество и контекст.

Почему это кандидат

Продолжает сравнимый опрос разработчиков об AI и агентах.

Ограничение: Открытый AI-фокусированный опрос имеет сильный самоотбор.

Evidence family: devographics-state-of-ai

РаспространениеЧеловек и агентСкорость и качествоsurvey

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

AI Tooling for Software Engineers in 2026

The Pragmatic Engineer

Публикация

3 мар. 2026 г.

Период измерения

2026-01-27 — 2026-02-17

Данные и охват

Использование ИИ-инструментов, моделей и агентов, интенсивность работы с ИИ и различия по роли и размеру компании среди 906 подписчиков The Pragmatic Engineer.

Методика

Добровольный онлайн-опрос профессионального сообщества The Pragmatic Engineer; преимущественно опытные инженеры и руководители из Европы и США, с сегментацией по роли, стажу и размеру организации.

Что сообщает источник

95% респондентов использовали ИИ еженедельно, 55% регулярно работали с агентами, а Claude Code стал самым упоминаемым инструментом; Staff+ инженеры лидировали по использованию агентов.

Почему это кандидат

Даёт редкий срез старших инженеров и интенсивных пользователей агентов.

Ограничение: Самоотбор подписчиков и смещение к senior-аудитории.

Evidence family: pragmatic-engineer-ai-survey

РаспространениеЧеловек и агентDevEx и обучениеsurvey

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

AI and engineering velocity: A longitudinal analysis

Публикация

28 апр. 2026 г.

Период измерения

2024-11-01 — 2026-02-28

Данные и охват

Более 400 организаций: динамика использования ИИ-инструментов и пропускной способности pull request с ноября 2024 года по февраль 2026 года, дополненная интервью с разработчиками.

Методика

Продольный наблюдательный анализ телеметрии DX в компаниях с быстрым ростом использования ИИ; сопоставление агрегированной динамики TrueThroughput с внедрением и качественная интерпретация по интервью. Контрольной группы и рандомизации нет.

Что сообщает источник

Использование ИИ выросло в среднем на 65%, медианный PR throughput — на 7,76%, но совместная динамика не устанавливает причинный эффект ИИ.

Почему это кандидат

Сопоставляет рост использования AI с продольной телеметрией более 400 компаний.

Ограничение: Закрытая клиентская когорта и собственная метрика TrueThroughput.

Evidence family: dx-longitudinal

Скорость и качествоИзмерениеРевью и управлениеtelemetrystatisticsinterviews

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

AI-authored code has nearly doubled, but so has PR size

Публикация

17 июн. 2026 г.

Период измерения

2025-07-01 — 2026-06-30

Данные и охват

Более 400 компаний: самооценка доли программной работы, делегированной ИИ во втором квартале 2026 года, и телеметрия размера pull request с июля 2025 года по июнь 2026 года.

Методика

Два наблюдательных измерения в одной когорте: усреднённые внутри компаний самоотчёты о коде, созданном ИИ без существенной переработки, и продольная телеметрия медианного размера pull request. Анализ не связывает конкретные ответы с изменениями и не использует контрольную группу.

Что сообщает источник

Средняя самооценка доли ИИ-кода достигла 51,9%, а медианный pull request вырос с 44 до 72 строк; совпадение трендов не доказывает причинную связь или изменение качества.

Почему это кандидат

Показывает рост доли AI-кода и размера изменений в той же продольной когорте.

Ограничение: Доля AI-кода самооценочная, размер PR не равен дефектности.

Evidence family: dx-longitudinal

Скорость и качествоРевью и управлениеsurveytelemetrystatistics

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

Analyzing coding agent transcripts to upper bound productivity gains from AI agents

METR

Публикация

17 февр. 2026 г.

Период измерения

2026-01-01 — 2026-01-31

Данные и охват

5 305 транскриптов Claude Code семи технических сотрудников METR за январь 2026 года; модельная оценка времени без ИИ и параллельности агентных сессий.

Методика

Разведочный анализ транскриптов: GPT-4o сжимает журналы, GPT-5 оценивает контрфактическое время опытного инженера, а активность пользователя считается десятиминутными окнами. LLM-судью сверили с 34 человеческими оценками; сравнения с фактической работой без ИИ нет.

Что сообщает источник

Коэффициент экономии времени на выбранных для Claude Code задачах составил примерно 1,5–13× между сотрудниками, но METR считает его мягкой верхней границей, а не причинным приростом продуктивности.

Почему это кандидат

Проверяет метод оценки экономии времени по агентным транскриптам и параллельности.

Ограничение: Семь сотрудников, LLM-оценка и мягкая верхняя граница эффекта.

Evidence family: metr-productivity-2026

Человек и агентСкорость и качествоИзмерениеtelemetrystatisticscase_studies

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

Measuring the Self-Reported Impact of Early-2026 AI on Technical Worker Productivity

METR

Публикация

11 мая 2026 г.

Период измерения

2026-02-01 — 2026-04-30

Данные и охват

349 технических специалистов после очистки ответов: самооценка влияния ИИ на скорость и ценность работы в феврале–апреле 2026 года.

Методика

Подробный опрос удобной выборки, набранной через GitHub, академические каталоги, METR, профессиональные сети и X; три формулировки прироста ценности, отдельный вопрос о скорости и проверки внутренней согласованности. Около 70% участников получили оплату.

Что сообщает источник

Медианные самооценки прироста ценности составили 1,4–2×, скорости — 3×; это убеждения респондентов о контрфактическом эффекте, а не объективная причинная оценка.

Почему это кандидат

Разделяет ускорение задачи и создаваемую ценность.

Ограничение: Добровольная оплачиваемая выборка и самооценка.

Evidence family: metr-productivity-2026

Скорость и качествоИзмерениеDevEx и обучениеsurveystatistics

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

Writing Code vs. Shipping Code: Productivity Effects Across Generations of AI Coding Tools

National Bureau of Economic Research (NBER)

Публикация

1 мая 2026 г.

Период измерения

2022-06-21 — 2026-05-31

Данные и охват

Более 100 тысяч разработчиков GitHub, поколения ИИ-инструментов с 2022 по 2026 год и месячные панели четырёх крупных площадок приложений до мая 2026 года.

Методика

Наблюдательное событийное исследование с подбором активного контроля из той же календарной недели годом ранее; публичная активность GitHub объединена с закрытой телеметрией Microsoft. Дополнительно используется структурная модель производственной иерархии и описательный анализ площадок приложений.

Что сообщает источник

Оценки прироста коммитов растут от 40% для автодополнения до 180% с асинхронными агентами, но ослабевают до 50% на проектах и 30% на релизах; новые приложения не дали роста суммарного использования.

Почему это кандидат

Разделяет рост производства кода и рост фактически выпущенного ПО.

Ограничение: Наблюдательные данные платформы и зависимость от выбранных метрик.

Evidence family: nber-ai-coding-tools

Скорость и качествоИзмерениеtelemetrystatistics

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

Speed at the Cost of Quality: How Cursor AI Increases Short-Term Velocity and Long-Term Complexity in Open-Source Projects

Carnegie Mellon University

Публикация

13 апр. 2026 г.

Период измерения

2024-01-01 — 2025-08-31

Данные и охват

806 открытых репозиториев с наблюдаемым внедрением Cursor и 1 380 сопоставленных контролей; ежемесячные данные GitHub и SonarQube с января 2024 года по август 2025 года.

Методика

Квазиэкспериментальная разность разностей со ступенчатым внедрением, сопоставлением по склонности и панельной GMM-моделью. Внедрение определяется по коммиту конфигурации Cursor, а качество — по прокси статического анализа.

Что сообщает источник

Объём добавленных строк кратко вырос после наблюдаемого внедрения, а предупреждения SonarQube и когнитивная сложность были выше на 30,3% и 41,6%; вывод зависит от прокси внедрения и предпосылок квазиэксперимента.

Почему это кандидат

Квазиэксперимент показывает краткий всплеск скорости и устойчивый рост сложности.

Ограничение: Cursor определяется по конфигурационным следам; открытые репозитории.

Evidence family: cmu-msr-agent-adoption

Скорость и качествоИзмерениеtelemetrystatistics

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

AI IDEs or Autonomous Agents? Measuring the Impact of Coding Agents on Software Development

Carnegie Mellon University

Публикация

13 апр. 2026 г.

Период измерения

2024-01-01 — 2025-11-30

Данные и охват

AIDev v3 и GitHub с января 2024 года по ноябрь 2025 года: 401 agent-first и 117 IDE-first репозиториев с соответствующими сопоставленными контролями.

Методика

Квазиэкспериментальная разность разностей со ступенчатым внедрением и сопоставлением по склонности; внедрение определяется первым атрибутированным агенту pull request, прежнее использование IDE — конфигурационными следами, сопровождаемость — SonarQube.

Что сообщает источник

В agent-first проектах оценки составили +36,25% коммитов и +76,59% строк, а в IDE-first устойчивого прироста не было; сложность выросла примерно на 35–43% в обеих группах.

Почему это кандидат

Сопоставляет agent-first и IDE-first траектории репозиториев.

Ограничение: Наблюдаемая первая agent PR — прокси принятия; пересечение с AIDev.

Evidence family: cmu-msr-agent-adoption

РаспространениеСкорость и качествоИзмерениеtelemetrystatistics

Карточка исследования Первичный источник

Основной корпусСредняя уверенностьВ каталоге

The Impact of AI Coding Assistants on Software Engineering: A Longitudinal Study

University of Auckland

Публикация

22 мая 2026 г.

Период измерения

2024-10-01 — 2025-04-30

Данные и охват

Два опроса профессиональных разработчиков через шесть месяцев: 158 подходящих участников в октябре 2024 года, 101 в апреле 2025 года и 95 человек в сопоставленной продольной когорте.

Методика

Продольное mixed-methods исследование восприятия задач, DevEx и продуктивности: шкалы и непараметрические тесты дополнены тематическим анализом открытых ответов. Выборка удобная и включает только текущих пользователей ИИ; объективная телеметрия не собиралась.

Что сообщает источник

82% сообщили о сокращении времени написания кода и 84% — об улучшении воспринимаемой продуктивности, но доля участников с негативной оценкой хотя бы одного измерения DevEx выросла с 14% до 27%.

Почему это кандидат

Две волны показывают переход к надзорной инженерной работе.

Ограничение: Самооценка, отток участников и период наблюдения до 2025 года.

Evidence family: auckland-longitudinal-survey

Человек и агентDevEx и обучениеСкорость и качествоsurveyinterviewsstatistics

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

Agentic Much? Adoption of Coding Agents on GitHub

Université de Bordeaux · Inria · Universidade Federal de Minas Gerais · Institut Polytechnique de Paris

Публикация

26 янв. 2026 г.

Период измерения

2025-01-01 — 2026-02-21

Данные и охват

128 018 активных зрелых публичных GitHub-репозиториев; видимые конфигурационные, commit- и pull-request следы кодирующих агентов с января 2025 года по 21 февраля 2026 года.

Методика

Многоэвристическая перепись по файлам, .gitignore, авторству коммитов, веткам и меткам pull request с ручной проверкой случайных выборок. Диапазон внедрения строится из наблюдаемых сигналов и экстраполяции скрытой commit-активности.

Что сообщает источник

В выбранной совокупности консервативная оценка видимого внедрения составила 22,20%, верхняя — 28,66%; ИИ-ассистированные коммиты были крупнее, но это не измерение продуктивности или качества.

Почему это кандидат

Оценивает распространение агентов по наблюдаемым следам в зрелых GitHub-проектах.

Ограничение: Видимые сигналы дают нижнюю и потенциально смещённую оценку.

Evidence family: github-agent-adoption

РаспространениеЧеловек и агентtelemetrystatisticscase_studies

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

Detecting AI Coding Agents in Open Source: A Validated Multi-Method Census of 180 Million Repositories

Авторы исследования

Публикация

23 июн. 2026 г.

Период измерения

2024-12-01 — 2026-04-30

Данные и охват

Три снимка World of Code более чем со 180 миллионами Git-репозиториев с декабря 2024 года по апрель 2026 года; commit-, identity- и configuration-сигналы двенадцати агентов.

Методика

Четырёхуровневая перепись по bot-аккаунтам, подписям сообщений, шаблонам авторских имён и конфигурационным файлам; 495 случаев проверены вручную с оценками точности. Абсолютная полнота объединения методов неизвестна.

Что сообщает источник

Для Claude Code один bot-сигнал нашёл лишь 3,3% коммитов, обнаруженных объединением методов; к марту 2026 года наблюдаемые агенты давали более 320 тысяч коммитов в месяц, но это нижняя граница видимой активности, а не точная доля внедрения.

Почему это кандидат

Показывает, что один способ атрибуции видит лишь часть агентной активности.

Ограничение: Измеряется только активность с наблюдаемыми следами.

Evidence family: github-agent-adoption

РаспространениеИзмерениеtelemetrystatistics

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

Investigating Autonomous Agent Contributions in the Wild: Activity Patterns and Code Change over Time

Delft University of Technology · University of California, Davis · GitHub

Публикация

13 апр. 2026 г.

Период измерения

2025-06-01 — 2025-08-31

Данные и охват

111 969 публичных pull request пяти кодирующих агентов и людей за июнь–август 2025 года; ранняя судьба стратифицированных выборок слитых коммитов через три дня, неделю и три недели.

Методика

Описательное сравнение GitHub pull request, найденных по веткам, bot-аккаунтам и watermark; для survival и churn стратифицированно отобрано по 1 560 коммитов каждого агента и людей. Рандомизации и сопоставления по типу задачи нет.

Что сообщает источник

Агентные изменения чаще были крупнее и addition-heavy; полное сохранение строк было немного ниже, а churn и удаления немного выше, но эффекты малы и короткое окно не позволяет считать их причинным ухудшением качества.

Почему это кандидат

Сравнивает масштаб, выживаемость и churn изменений разных агентов.

Ограничение: Эвристики атрибуции, смешение задач и короткое окно наблюдения.

Evidence family: agent-pr-telemetry

Человек и агентСкорость и качествоtelemetrystatistics

Карточка исследования Первичный источник

Основной корпусВысокая уверенностьВ каталоге

How Coding Agents Fail Their Users: A Large-Scale Analysis of Developer-Agent Misalignment in 20,574 Real-World Sessions

University of Notre Dame · Vanderbilt University · Google

Публикация

28 мая 2026 г.

Период измерения

2024-09-01 — 2026-04-30

Данные и охват

20 574 публично сохранённые IDE- и CLI-сессии из 1 639 репозиториев с сентября 2024 года по апрель 2026 года; видимые через возражение разработчика случаи рассогласования.

Методика

Наблюдательный анализ SpecStory и opt-in SWE-chat: GPT-5.4 извлекает и повторно валидирует эпизоды, человеческие эксперты проверяют precision, coverage и точность многоосевой разметки. Молчаливые исправления и приватные логи не наблюдаются.

Что сообщает источник

Из 16 118 подтверждённых эпизодов 90,50% создавали затраты усилий или доверия без видимого системного ущерба; из 9,33% случаев с видимым разрешением 91,49% требовали явного возражения пользователя.

Почему это кандидат

Выделяет повторяющиеся типы рассогласования в реальных IDE/CLI-сессиях.

Ограничение: Публичные opt-in логи, Claude-heavy корпус и модельная разметка.

Evidence family: agent-session-telemetry

Человек и агентРевью и управлениеБезопасностьtelemetrystatisticscase_studies

Карточка исследования Первичный источник

Оценки возможностей и бенчмарки

Проверки способности агентов решать задачи, работать с репозиториями и поддерживать качество или безопасность. В текущем срезе: 27.

БенчмаркиВысокая уверенностьВ каталоге

APEX-SWE

Mercor / авторы исследования

Публикация

13 янв. 2026 г.

Период измерения

2026-01-13

Данные и охват

200 задач: 100 задач на интеграцию и 100 задач на наблюдаемость.

Методика

Исполняемый бенчмарк, нацеленный на экономически ценные задачи разработки ПО с проверкой поведения в окружении.

Что сообщает источник

Лучший заявленный результат Pass@1 — 38,5% на наборе APEX-SWE.

Почему это кандидат

Экономически ценные интеграционные и наблюдаемые задачи.

Ограничение: Набор задач не измеряет работу реальной команды.

Человек и агентСкорость и качествоИзмерениеexperimentcase_studies

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

Code Review Agent Benchmark

Авторы исследования

Публикация

7 апр. 2026 г.

Период измерения

2026-03-24 — 2026-04-07

Данные и охват

Бенчмарк c-CRAB для оценки агентов проверки кода на задачах ревью запросов на слияние.

Методика

Набор задач, систематически собранный из проверок людей; отзывы, сгенерированные агентами, оцениваются тестами, полученными из человеческих проверок.

Что сообщает источник

Существующие агенты проверки кода вместе решают лишь около 40% задач c-CRAB; их отзывы нередко фокусируются на других аспектах, чем проверки людей.

Почему это кандидат

Проверяет способность агентов выполнять ревью запросов на слияние.

Ограничение: Автоматическая оценка не полностью воспроизводит человеческое решение.

Человек и агентСкорость и качествоИзмерениеexperimentstatistics

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

ContextBench: A Benchmark for Context Retrieval in Coding Agents

Авторы исследования

Публикация

5 февр. 2026 г.

Период измерения

2026-02-05

Данные и охват

1 136 задач на решение issue, 66 репозиториев и 8 языков программирования.

Методика

Процесс-ориентированный бенчмарк с эталонными аннотациями контекста для измерения качества извлечения контекста у кодовых агентов.

Что сообщает источник

Даже продвинутые каркасные подходы дают ограниченный прирост качества извлечения, при этом сохраняются большие разрывы между найденным и реально использованным контекстом.

Почему это кандидат

Измеряет поиск контекста в больших репозиториях.

Ограничение: Качество поиска контекста не равно конечному инженерному результату.

Человек и агентСкорость и качествоИзмерениеexperimentstatistics

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

Dialogue SWE-Bench: A Benchmark for Dialogue-Driven Coding Agents

Авторы исследования

Публикация

12 июн. 2026 г.

Период измерения

2026-06-12

Данные и охват

Бенчмарк для оценки кодовых агентов, которые решают реальные задачи разработки ПО через диалог с пользователем.

Методика

Автоматический бенчмарк с симулятором пользователя на основе персон, оценками качества диалога и базовым агентом со схемным управлением.

Что сообщает источник

Агент со схемным управлением обходит сильные базовые решения на 3–14%, при этом результаты показывают: более сильная в программировании модель не всегда лучше ведёт диалог.

Почему это кандидат

Проверяет диалоговую работу агента с уточняющим пользователем.

Ограничение: Симулятор пользователя ограничивает переносимость в реальную работу.

Человек и агентСкорость и качествоИзмерениеexperimentstatistics

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

FeatureBench: Benchmarking Agentic Coding for Complex Feature Development

Авторы исследования

Публикация

11 февр. 2026 г.

Период измерения

2026-02-11

Данные и охват

200 задач уровня функциональности, 3 825 исполняемых окружений и 24 репозитория.

Методика

Исполняемый бенчмарк для разработки сложных возможностей в условиях реального репозитория.

Что сообщает источник

При высоких результатах на бенчмарках исправления ошибок лидирующие агенты показывают около 11% успешных решений на сложных задачах добавления функциональности.

Почему это кандидат

Переносит оценку от исправления issue к разработке возможностей.

Ограничение: Исполняемая проверка покрывает только заданные репозитории и задачи.

Человек и агентСкорость и качествоИзмерениеexperimentcase_studies

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

Many SWE-bench-Passing PRs Would Not Be Merged into Main

METR

Публикация

10 мар. 2026 г.

Период измерения

2026-03-10

Данные и охват

296 запросов на слияние, созданных ИИ и проверенных сопровождающими в 3 репозиториях.

Методика

Сопоставление автоматического прохождения бенчмарка с реальными вердиктами сопровождающих по запросам на слияние.

Что сообщает источник

Доля изменений, которые сопровождающие готовы были бы слить, оказалась существенно ниже доли автоматического прохождения SWE-bench, что ограничивает интерпретацию результата по одному числу.

Почему это кандидат

Связывает прохождение SWE-bench с реальным решением сопровождающих.

Ограничение: Небольшое число репозиториев и отсутствие итерации по обратной связи.

Evidence family: swe-bench-validity

Человек и агентСкорость и качествоИзмерениеexperimentcase_studiesstatistics

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

OmniCode: A Benchmark for Evaluating Software Engineering Agents

Авторы исследования

Публикация

2 февр. 2026 г.

Период измерения

2026-02-02

Данные и охват

1 794 задачи, 3 языка программирования и 4 категории задач.

Методика

Ручная валидация и построение бенчмарка с учётом рисков загрязнения и утечек данных для оценки агентов разработки ПО.

Что сообщает источник

Бенчмарк показывает заметные провалы агентов за пределами Python-центричных сценариев исправления ошибок.

Почему это кандидат

Расширяет покрытие языков и типов задач агентной разработки.

Ограничение: Бенчмарк возможностей, а не организационного эффекта.

Человек и агентСкорость и качествоИзмерениеexperimentcase_studies

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

Why SWE-bench Verified no longer measures frontier coding capabilities

OpenAI

Публикация

23 февр. 2026 г.

Период измерения

2026-02-23

Данные и охват

Аудит 138 сложных задач SWE-bench Verified и проверка надёжности бенчмарка для передовых моделей программирования.

Методика

Экспертный разбор качества задач и тестов, а также анализ загрязнения данных (contamination), влияющего на валидность оценки.

Что сообщает источник

OpenAI сообщает, что 59,4% аудированных сложных задач содержат существенные проблемы постановки или тестирования, а загрязнение данных искажает интерпретацию прогресса.

Почему это кандидат

Показывает загрязнение и дефекты популярного бенчмарка.

Ограничение: Аудит поставщика модели и узкая сложная подвыборка.

Человек и агентСкорость и качествоИзмерениеexperimentstatisticscase_studies

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development

Авторы исследования

Публикация

9 февр. 2026 г.

Период измерения

2026-02-02 — 2026-02-09

Данные и охват

20 задач программирования в 8 категориях — от концептуальных задач до прикладных сценариев для сквозной генерации проектов.

Методика

Бенчмарк сочетает проверку через Online Judge с проверкой кода при помощи языковой модели; оценивает архитектуру системы, функциональную корректность и итеративную доработку решения.

Что сообщает источник

Общая доля принятых решений — 27,38%; агенты справляются с базовой функциональностью и структурами данных, но хуже работают со сложным проектированием систем, оптимизацией временной сложности и управлением ресурсами.

Почему это кандидат

Оценивает сквозное создание проектов.

Ограничение: Небольшой набор задач и частичная модельная оценка.

Человек и агентСкорость и качествоИзмерениеexperimentstatistics

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

A Benchmark for Evaluating Repository-Level Code Agents with Intermediate Reasoning on Feature Addition Task

Авторы исследования

Публикация

27 мар. 2026 г.

Период измерения

2026-03-27

Данные и охват

528 реальных задач на добавление функциональности из 12 открытых репозиториев с исполняемой проверкой патча и структурированным эталоном промежуточных рассуждений.

Методика

Двухтрековая система оценки: корректность патча и качество промежуточных рассуждений по этапам понимания issue, локализации файлов, задач реализации и декомпозиции шагов.

Что сообщает источник

Доля решённых задач у трёх агентов уровня репозитория — от 29% до 70%; в случаях «патч применился, но тесты упали» полнота промежуточного рассуждения ниже на 35,7%, а переоценка нужных шагов выше на 94,1%, чем в успешных.

Почему это кандидат

Добавляет оценку промежуточного рассуждения при изменениях репозитория.

Ограничение: Эталон рассуждения не гарантирует промышленную полезность патча.

Человек и агентСкорость и качествоИзмерениеexperimentstatistics

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

SecureVibeBench: Benchmarking Secure Vibe Coding of AI Agents via Reconstructing Vulnerability-Introducing Scenarios

Авторы исследования

Публикация

1 июл. 2026 г.

Период измерения

2026-07-01

Данные и охват

105 задач по безопасному программированию на C/C++ из 41 проекта OSS-Fuzz; реалистичные сценарии внесения уязвимостей для программирующих агентов

Методика

Бенчмарк из 105 задач по безопасному программированию на C/C++, собранных из 41 проекта OSS-Fuzz, с многофайловыми правками, точками внесения уязвимостей и статическими и динамическими оракулами безопасности.

Что сообщает источник

Даже лучший агент выдал только 23,8% решений, которые одновременно проходят функциональные проверки и не возвращают уязвимый шаблон из истории проекта.

Почему это кандидат

Проверяет функциональность и безопасность агентных изменений вместе.

Ограничение: Узкий C/C++ корпус и шум статического анализа.

Человек и агентСкорость и качествоИзмерениеexperimentstatistics

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

SWE Atlas: Benchmarking Coding Agents Beyond Issue Resolution

Авторы исследования

Публикация

8 мая 2026 г.

Период измерения

2026-05-08

Данные и охват

284 задачи по категориям: вопросы по кодовой базе (124), написание тестов (90) и рефакторинг (70).

Методика

Бенчмарк с отдельными протоколами оценки под каждую категорию: программные проверки сочетаются с рубриками инженерного качества.

Что сообщает источник

Лучшие общие результаты у GPT-5.4 и Opus 4.7, но даже топовые модели по-прежнему плохо справляются с неочевидными крайними случаями, сложным анализом времени выполнения и инженерными практиками.

Почему это кандидат

Выходит за исправление issue к вопросам, тестам и рефакторингу.

Ограничение: Результаты зависят от набора задач и оценочных протоколов.

Человек и агентСкорость и качествоИзмерениеexperimentstatistics

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

SWE-Chain: Benchmarking Coding Agents on Chained Release-Level Package Upgrades

Авторы исследования

Публикация

14 мая 2026 г.

Период измерения

2026-05-14

Данные и охват

12 цепочек обновлений по 9 реальным Python-пакетам; 155 переходов между версиями и 1 660 обоснованных требований к обновлению.

Методика

Бенчмарк для цепочек обновлений пакетов уровня релизов; требования синтезируются сопоставлением заметок к релизам с диффами кода для каждого перехода между версиями.

Что сообщает источник

На девяти передовых конфигурациях «агент — модель» агенты в среднем дают 44,8% решённых переходов, 65,4% точности и 50,2% F1; лидирует Claude-Opus-4.7 с Claude Code — 60,8% решённых переходов.

Почему это кандидат

Проверяет цепочки обновлений пакетов на уровне релизов.

Ограничение: Малое число пакетов и Python-ориентированная выборка.

Человек и агентСкорость и качествоИзмерениеexperimentstatistics

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios

Авторы исследования

Публикация

22 мая 2026 г.

Период измерения

2025-12-20 — 2026-05-22

Данные и охват

48 задач долгосрочной эволюции ПО из заметок к релизам 7 зрелых открытых проектов на Python; в среднем 21 файл и 874 теста на задачу.

Методика

Бенчмарк, построенный из заметок к релизам, с многошаговыми изменениями по многим файлам; оценивается наборами тестов и метрикой Fix Rate для частичного прогресса.

Что сообщает источник

GPT-5.4 с OpenHands достигает 25% на SWE-EVO против 72,80% у GPT-5.2 на SWE-Bench Verified, что показывает большой разрыв в способностях на длинном горизонте.

Почему это кандидат

Измеряет долгосрочную эволюцию программных систем.

Ограничение: Ограниченное число проектов и синтетическая постановка по релизам.

Человек и агентСкорость и качествоИзмерениеexperimentstatistics

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions

Авторы исследования

Публикация

29 июн. 2026 г.

Период измерения

2026-06-29

Данные и охват

Многошаговые интерактивные задачи разработки ПО, управляемые пользователем: требования раскрываются постепенно и сопровождаются обратной связью.

Методика

Бенчмарк с симулятором пользователя: он начинает с неполных инструкций, осматривает рабочее пространство агента и даёт целевую обратную связь, правки и новые ограничения.

Что сообщает источник

Лучшие модели решают около 50% одношаговых базовых задач, но лишь порядка 25% соответствующих задач SWE-INTERACT; интерактивное прояснение цели оказывается отдельной осью способностей.

Почему это кандидат

Оценивает агента в длинном взаимодействии с пользователем.

Ограничение: Симулятор пользователя не заменяет живую командную работу.

Человек и агентСкорость и качествоИзмерениеexperimentstatistics

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

SWE-Refactor

Авторы исследования

Публикация

3 февр. 2026 г.

Период измерения

2026-02-03

Данные и охват

1 099 задач рефакторинга из 18 Java-проектов, проверяющих способность агентов менять структуру репозитория при сохранении поведения

Методика

Бенчмарк рефакторинга на уровне репозитория: результаты проверяются компиляцией, тестами и ограничениями, специфичными для требуемого рефакторинга.

Что сообщает источник

Составной рефакторинг остается слабым местом текущих агентов: сложные изменения уровня репозитория часто требуют больше согласованности, чем обычное исправление ошибки или генерация функции.

Почему это кандидат

Проверяет сохранение поведения при репозиторном рефакторинге.

Ограничение: Java-корпус не представляет всю разработку.

Человек и агентСкорость и качествоИзмерениеexperimentcase_studies

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

SWE-Together: Evaluating Coding Agents in Interactive User Sessions

Авторы исследования

Публикация

29 июн. 2026 г.

Период измерения

2026-06-29

Данные и охват

109 задач уровня репозитория, отобранных из 11 260 записанных сессий программирования «пользователь — агент».

Методика

Многошаговый бенчмарк, воссозданный из реальных сессий «пользователь — агент», с реактивным симулятором пользователя на базе языковой модели; измеряет итоговую корректность репозитория и число корректирующих реплик обратной связи.

Что сообщает источник

SWE-Together показывает, что более сильные агенты обычно достигают более высокой итоговой доли успеха и требуют меньше вмешательств, поэтому усилия пользователя в интерактивной сессии становятся отдельной метрикой качества.

Почему это кандидат

Воссоздаёт интерактивные сессии человек—агент.

Ограничение: Симуляция и отбор задач ограничивают внешнюю валидность.

Человек и агентСкорость и качествоИзмерениеexperimentstatistics

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВ каталоге

Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces

Авторы исследования

Публикация

17 янв. 2026 г.

Период измерения

2026-01-17

Данные и охват

89 сложных задач в компьютерных терминальных окружениях, вдохновлённых реальными рабочими процессами.

Методика

Отобранный бенчмарк в терминальных окружениях: уникальные окружения, решения, написанные людьми, и исчерпывающие проверочные тесты для каждой задачи.

Что сообщает источник

Передовые модели и агенты набирают менее 65% на Terminal-Bench 2.0, что показывает стойкую сложность реалистичных терминальных сценариев.

Почему это кандидат

Измеряет работу агента в реальных терминальных окружениях.

Ограничение: Терминальные задачи шире разработки и не показывают эффект на команду.

Человек и агентСкорость и качествоИзмерениеexperimentstatistics

Карточка исследования Первичный источник

БенчмаркиВысокая уверенностьВнешний источник

AIDev: Studying AI Coding Agents on GitHub

Queen's University

Публикация

9 февр. 2026 г.

Период измерения

До 2025-08-01

Методика

932 791 агентный PR от пяти агентов, 116 211 репозиториев и 72 189 разработчиков.

Почему это кандидат

Базовый воспроизводимый корпус для исследований агентных PR.

Ограничение: Dataset paper не доказывает эффект; производные работы не независимы.

Evidence family: aidev

РаспространениеИзмерение

Первичный источник

БенчмаркиСредняя уверенностьВнешний источник

When Code Authors Are Agents

Авторы исследования

Публикация

5 июл. 2026 г.

Период измерения

Не раскрыт или ещё не применим

Методика

Анализ 40 214 запросов на слияние из семейства AIDev.

Почему это кандидат

Сравнивает интеграцию и содержание ревью человеческих и агентных PR.

Ограничение: Общий набор данных с другими AIDev-работами и наблюдательный дизайн.

Evidence family: aidev

Ревью и управлениеСкорость и качество

Первичный источник

БенчмаркиСредняя уверенностьВнешний источник

Collaborator or Assistant? How AI Coding Agents Partition Work

Авторы исследования

Публикация

6 июл. 2026 г.

Период измерения

Не раскрыт или ещё не применим

Методика

Анализ 29 585 запросов на слияние.

Почему это кандидат

Показывает разделение инициирования работы агентом и права окончательного слияния человеком.

Ограничение: Производная AIDev-работа; атрибуция зависит от видимых действий.

Evidence family: aidev

Человек и агентРевью и управление

Первичный источник

БенчмаркиСредняя уверенностьВнешний источник

On the Reliability of Agentic AI in Continuous Integration Pipelines

Авторы исследования

Публикация

13 апр. 2026 г.

Период измерения

Не раскрыт или ещё не применим

Методика

Анализ 11 771 агентного запроса на слияние и CI-событий.

Почему это кандидат

Показывает вклад агентов и в создание, и в исправление CI-сбоев.

Ограничение: Производная AIDev-работа и неполная наблюдаемость CI.

Evidence family: aidev

Скорость и качествоРевью и управление

Первичный источник

БенчмаркиСредняя уверенностьВнешний источник

Understanding the Rejection of Fixes Generated by Agentic Pull Requests

Авторы исследования

Публикация

11 июн. 2026 г.

Период измерения

Не раскрыт или ещё не применим

Методика

Статистика принятия и качественная таксономия по 306 отклонённым PR.

Почему это кандидат

Объясняет, почему функционально правдоподобные агентные исправления не принимают.

Ограничение: Небольшая качественная подвыборка из общей AIDev-семьи.

Evidence family: aidev

Ревью и управлениеСкорость и качество

Первичный источник

БенчмаркиСредняя уверенностьВнешний источник

To What Extent Does Agent-generated Code Require Maintenance?

Авторы исследования

Публикация

7 мая 2026 г.

Период измерения

Не раскрыт или ещё не применим

Методика

Наблюдение более тысячи файлов и около 3 200 последующих изменений.

151 Java-репозиторий и 1 811 месячных снимков.

Почему это кандидат

Показывает риск ложного улучшения нормированных метрик при росте объёма кода.

Ограничение: Небольшой Java-корпус и наблюдательная атрибуция.

Скорость и качествоИзмерение

Первичный источник

Контекстные материалы

Прогнозы, продуктовые отчёты, рамки и кейсы, полезные для контекста, но не равные эмпирическому доказательству. В текущем срезе: 17.

КонтекстСредняя уверенностьВ каталоге

2026 Agentic Coding Trends Report

Anthropic

Публикация

1 февр. 2026 г.

Период измерения

2026-02-01

Данные и охват

Восемь трендов, меняющих разработку ПО с кодовыми агентами; включает кейсы Rakuten, CRED, TELUS и Zapier.

Методика

Трендовый отчёт и синтез кейсов на основе продуктового опыта Claude Code от Anthropic и внедрений у клиентов.

Что сообщает источник

Anthropic описывает переход от одиночных ИИ-помощников к оркестрации кодовых агентов: командам нужны правила координации, проверки, безопасности, наблюдаемости и ответственности за результаты агентов.

Почему это кандидат

Задаёт индустриальный язык перехода к оркестрации агентов.

Ограничение: Трендовый отчёт и клиентские кейсы без формальной выборки.

Evidence family: anthropic-2026-coding

Человек и агентРевью и управлениеcase_studies

Карточка исследования Первичный источник

КонтекстВысокая уверенностьВ каталоге

ROI of AI-assisted Software Development report

DORA · Google Cloud

Публикация

22 апр. 2026 г.

Период измерения

2026-04-22

Данные и охват

Практический фреймворк для измерения ROI разработки с поддержкой ИИ и связывания инженерной скорости с финансовым эффектом.

Методика

Отчёт на основе фреймворка DORA и десятилетия исследований DORA; включает трактовку ROI, модель внедрения J-Curve и рекомендации по ROI-калькулятору.

Что сообщает источник

DORA предлагает оценивать разработку с поддержкой ИИ через J-Curve, стоимость обучения, возврат инженерной ёмкости и перевод метрик поставки в финансовые результаты, а не через скорость генерации кода отдельно от системы поставки.

Почему это кандидат

Даёт рамку связи инженерных эффектов AI с ROI.

Ограничение: Новый эмпирический срез и самостоятельная выборка отсутствуют.

Evidence family: dora-roi-framework

ИзмерениеРевью и управлениеcase_studiesstatistics

Карточка исследования Первичный источник

КонтекстСредняя уверенностьВ каталоге

Introducing GPT-5.3-Codex

OpenAI

Публикация

5 февр. 2026 г.

Период измерения

2026-02-05

Данные и охват

Оценки GPT-5.3-Codex на SWE-Bench Pro, Terminal-Bench 2.0, OSWorld-Verified и GDPval.

Методика

Оценка по нескольким бенчмаркам против прежних моделей OpenAI на задачах разработки ПО, работы в терминале и агентного управления компьютером.

Что сообщает источник

OpenAI сообщает 56,8% на SWE-Bench Pro, 77,3% на Terminal-Bench 2.0, 64,7% на OSWorld-Verified и 70,9% побед или ничьих на GDPval.

Почему это кандидат

Показывает направление продуктового развития кодовых агентов.

Ограничение: Пусковая публикация поставщика и внутренние оценки не равны независимому исследованию.

Evidence family: openai-model-releases

Человек и агентИзмерениеexperimentcase_studies

Карточка исследования Первичный источник

КонтекстСредняя уверенностьВ каталоге

Introducing GPT-5.4

OpenAI

Публикация

5 мар. 2026 г.

Период измерения

2026-03-05

Данные и охват

Оценки на задачах программирования, работы с компьютером и интеллектуальной офисной работы, включая SWE-Bench Pro, OSWorld-Verified и GDPval.

Методика

Оценка нового поколения модели по нескольким бенчмаркам и классам задач с сопоставлением с предыдущими поколениями.

Что сообщает источник

OpenAI сообщает 57,7% на SWE-Bench Pro, 75,0% на OSWorld-Verified и 83,0% побед или ничьих на GDPval.

Телеметрия 22 тысяч разработчиков и более 4 тысяч команд до и после роста AI adoption.

Почему это кандидат

Показывает расхождение throughput, ревью, дефектов и инцидентов.

Ограничение: Закрытые данные, определения и наблюдательное сравнение.

Evidence family: vendor-engineering-telemetry

Скорость и качествоРевью и управление

Первичный источник

КонтекстСредняя уверенностьВнешний источник

AI Engineering Trends

Jellyfish Research

Публикация

1 мая 2026 г.

Период измерения

Обновляемые данные до мая 2026

Методика

37 млн запросов на слияние, 200 тысяч инженеров и более тысячи компаний.

Почему это кандидат

Сопоставляет глубину AI adoption, агентные PR и инженерные результаты.

Ограничение: Постоянно обновляемая страница, корреляция и клиентский самоотбор.

Evidence family: vendor-engineering-telemetry

РаспространениеСкорость и качество

Первичный источник

КонтекстСредняя уверенностьВнешний источник

2026 Software Engineering Benchmarks Report

LinearB

Публикация

4 мая 2026 г.

Период измерения

Не раскрыт или ещё не применим

Методика

8,1 млн запросов на слияние, 4 813 команд и 163 820 участников.

Более 30 тысяч систем и 400 млрд строк кода.

Почему это кандидат

Результаты на дату среза не опубликованы.

Почему это кандидат

Самостоятельный релевантный отчёт 2026 не найден.

Ограничение: Материал не входит в опубликованный корпус до появления результатов и методологии.

Распространение

Первичный источник

Проверка организаций из исследования 2025

Для каждой организации зафиксированы дата проверки, найденные публикации и ожидаемые продолжения серий.

Организация	Статус	Проверено	Кандидаты	Комментарий
Anthropic	Новый отчёт	11 июл. 2026 г.	anthropic-measuring-agent-autonomy-2026 anthropic-agentic-coding-expertise-2026 anthropic-economic-index-cadences-2026 anthropic-ai-skill-formation-2026	Найдены новые эмпирические публикации и продолжение Economic Index.
Atlassian	Новый отчёт	11 июл. 2026 г.	atlassian-ai-native-sdlc-2026 atlassian-ai-developer-workflows-2026 atlassian-devex-2026-watch	Есть отдельные исследования; годовой DevEx 2026 не найден.
DORA / Google Cloud	Ожидается	11 июл. 2026 г.	dora-ai-roi-report-2026 dora-2026-watch	Опубликована ROI-рамка, но годового отчёта 2026 нет.
DX	Новый отчёт	11 июл. 2026 г.	dx-ai-engineering-velocity-2026 dx-ai-authored-code-pr-size-2026	Найдены продольные отчёты по одной клиентской когорте.
Devographics	Новый отчёт	11 июл. 2026 г.	devographics-state-of-ai-2026	Опубликованы результаты State of AI 2026.
Express42	Не найден	11 июл. 2026 г.	express42-devops-russia-2026-watch	Серия заканчивается выпуском 2025 года.
GitHub	Ожидается	11 июл. 2026 г.	github-octoverse-2026-watch	Нового Octoverse или отдельного эмпирического отчёта 2026 нет.
Google	Новый отчёт	11 июл. 2026 г.	google-ai-ide-productivity-gains-2026	В каталоге уже есть работа об AI-функциях IDE Google.
IT-ONE	Не найден	11 июл. 2026 г.	it-one-ai-sdlc-2026-watch	Продолжение AI in SDLC не найдено.
JetBrains	Новый отчёт	11 июл. 2026 г.	jetbrains-ai-coding-tools-at-work-2026 jetbrains-evolving-with-ai-2026 jetbrains-developer-ecosystem-2026-watch	Есть AI Pulse и ICSE-исследование; ежегодный выпуск ещё готовится.
METR	Новый отчёт	11 июл. 2026 г.	metr-uplift-update-2026 metr-swe-bench-maintainer-gap-2026 metr-agent-transcript-productivity-2026 metr-technical-worker-productivity-survey-2026	Найдены четыре дополняющих друг друга работы.
MIT Nanda Center	Не найден	11 июл. 2026 г.	mit-nanda-state-ai-business-2026-watch	Продолжение State of AI in Business не найдено.
McKinsey / QuantumBlack	Новый отчёт	11 июл. 2026 г.	mckinsey-global-tech-agenda-2026 mckinsey-agentic-software-delivery-2026 mckinsey-state-of-ai-2026-watch	Есть тематические материалы; годового State of AI 2026 нет.
Software Engineering Productivity Research	Ожидается	11 июл. 2026 г.	stanford-ai-engineering-productivity-2026-watch	Исследование продолжается, новый отчёт не опубликован.
Stack Overflow	Новый отчёт	11 июл. 2026 г.	stackoverflow-agentic-ai-pulse-survey-2026 stackoverflow-developer-survey-2026-watch	Пульс-опрос опубликован; ежегодный опрос открыт.
The Pragmatic Engineer	Новый отчёт	11 июл. 2026 г.	pragmatic-engineer-ai-tooling-2026	Опубликован новый опрос AI-инструментов.
Wakefield Research	Не найден	11 июл. 2026 г.	wakefield-developer-research-2026-watch	Самостоятельный релевантный отчёт не найден.
Yandex	Новый отчёт	11 июл. 2026 г.	yandex-sourcecraft-cli-2026 yandex-ai-studio-adoption-q1-2026 yakov-partners-ai-russia-2026-watch	Есть продуктовые сигналы; совместный годовой отчёт не опубликован.
МФТИ	Не найден	11 июл. 2026 г.	mipt-ai-index-2026-watch	Нового AI Index Russia не найдено.
Яков и Партнёры	Не найден	11 июл. 2026 г.	yakov-partners-ai-russia-2026-watch	Новый тематический годовой отчёт не опубликован.

Исключения

Материалы сохранены в журнале поиска, но не учитываются в корпусе кандидатов.

The 2026 State of AI Agents Report

PDF создан и опрос проведён в 2025 году; год в названии не делает материал публикацией корпуса 2026.

Проверенный источник

Impact of Generative AI in Software Development

Отчёт выпущен в 2025 году и имеет версию 2025.2; обновление страницы в 2026 не считается новой публикацией.

Проверенный источник

Искусственный интеллект в России — 2025

Опубликован в декабре 2025 года и уже относится к предыдущему периоду.

Проверенный источник

Искусственный интеллект в девелопменте

Исследование посвящено недвижимости, а не разработке программного обеспечения.

Проверенный источник

Граница с мета-исследованием 2025

Allowlist предыдущего корпуса делает правило «новый кандидат» проверяемым.

Мета-исследование AI4SDLC 2025

32 работы исходного корпуса 2023–2025; The Pragmatic Engineer 2025 включён по snapshot корпуса, хотя не был отдельно процитирован на видимой странице.

Мета-исследование 202532 работ в allowlist