Как исследовать агентную разработку: методология AI4SDLC Survey 2026

Агентная разработка меняет не только инструмент написания кода, но и распределение решений в инженерном процессе. Человек может сохранить постановку задачи и план, делегировать реализацию, затем принять на себя проверку и ответственность за выпуск. Поэтому единицей интереса становится вся система создания изменения — от намерения до эксплуатации.

Исследование отвечает на шесть вопросов:

1. Насколько распространены автодополнение, диалоговая помощь, интерактивные агенты, фоновые агенты и параллельные агентные потоки?
2. Связана ли глубина делегирования с локальной скоростью, параллелизмом, нагрузкой на проверку, переделками и показателями DORA?
3. Различается ли эта связь при разном качестве тестов, документации, архитектуры, платформы, наблюдаемости и управления потоком?
4. Возникает ли разрыв между ускорением реализации и поставкой ценности: больше созданных изменений, но не больше выпусков, стабильности или полезного продукта?
5. Как агентная работа связана с обратными связями, когнитивной нагрузкой, состоянием потока, обучением, пониманием кодовой базы и выгоранием?
6. Связаны ли результаты поставки с командной результативностью, качеством продукта, операционной эффективностью и выполнением целей организации?

Логика согласуется с рекомендацией DORA выбирать рамку измерения из цели и сочетать самоотчёты с показателями инженерной системы, а не заменять многомерную производительность одним числом. SPACE (откроется в новой вкладке) также предостерегает от сведения продуктивности к активности или одной метрике.

Основная цепочка исследования выглядит так: профиль агентной работы → разделение труда и надзор → поставка и надёжность → результаты команды, продукта и организации. Инженерные практики находятся не в конце этой цепочки: они задают среду, в которой одинаковая глубина делегирования может приводить к разным результатам.

DORA 2025 (откроется в новой вкладке) описывает AI как усилитель уже существующей организационной системы. Исследование 2026 года развивает эту логику для более автономных инструментов и не приравнивает доступ к AI, частоту использования и глубину делегирования. Анализ Anthropic (откроется в новой вкладке) показывает, что даже длительность непрерывной работы агента является лишь приближённой мерой автономности: на неё одновременно влияют сложность задачи, способность модели и параллельная работа субагентов.

Разделение уровней нужно и для бизнес-интерпретации. Исследование более чем 100 000 разработчиков и телеметрии использования AI обнаружило, что рост активности ослабевает при переходе от коммитов к проектам и фактическим выпускам. Авторы Writing Code vs. Shipping Code (откроется в новой вкладке) интерпретируют это как признак человеческих узких мест в производственной цепочке. Наш опрос не воспроизводит их квазиэкспериментальный дизайн, но проверяет согласующуюся с ним гипотезу о разрыве между созданием и поставкой.

До начала поля фиксируются четыре основные гипотезы.

1. Делегирование, скорость и надзор. Более глубокое делегирование связано с более высокой субъективной скоростью реализации и большим числом параллельных потоков, но одновременно — с большей стоимостью постановки, мониторинга и проверки.
2. Инженерная зрелость как условие. Связь агентной работы с пропускной способностью и стабильностью различается в зависимости от качества тестов, документации, архитектуры, платформы, наблюдаемости и размера изменений.
3. Разрыв между созданием и поставкой. Проверка, переделки и восстановление контекста статистически связаны с разницей между локальной экономией времени и результатами поставки.
4. От поставки к результатам организации. Более сильные показатели поставки и надёжности связаны с командной результативностью, качеством продукта и выполнением организационных целей.

Первая и вторая гипотезы являются основными подтверждающими проверками. Третья описывает возможный механизм, но при поперечном дизайне не доказывает медиацию во времени. Четвёртая проверяет системную модель DORA и не устанавливает направление причинности между инженерными и организационными результатами.

Фактическая единица наблюдения — отдельный человек. Респондент отвечает применительно к одной основной команде и одному приложению или сервису, на которые пришлось больше всего его инженерной работы за последние три месяца. Определение команды опирается на совместную повседневную работу, а не только на формальную структуру подчинения.

В анкете различаются четыре уровня:

• человек: роль, опыт, задачи, использование AI, DevEx и обучение;
• команда: разделение труда, проверка, практики и совместная результативность;
• приложение или сервис: поставка, надёжность, техническая сложность и критичность;
• организация: политика, ресурсы, операционная эффективность и выполнение целей.

Один ответ инженера не считается измерением всей организации. Общие вопросы о компании допускают вариант «не знаю», а показатели затрат, целей и ROI показываются в отдельной ветке для руководителей. Если несколько участников описывают одну организацию, ответы нельзя автоматически усреднять: для организационного агрегата потребуется заранее заданный идентификатор группы, достаточное число наблюдений и проверка внутригруппового согласия. В основной открытой волне такие агрегаты не планируются.

Мы разделяем непосредственно наблюдаемые ответы, формативные индексы и латентные конструкты. Это важно: автономность складывается из разных прав и способов работы, тогда как поток или командная результативность предполагают общую скрытую характеристику, отражённую несколькими согласованными вопросами.

Профиль агентной работы

Пять режимов измеряются раздельно: автодополнение, диалог с моделью, интерактивный агент в среде разработки или терминале, фоновый агент с отложенным результатом и координация нескольких агентов. Название конкретного продукта не определяет режим: один инструмент может поддерживать несколько способов работы.

Для каждого режима фиксируются частота, классы задач, доля работы и опыт использования. Глубина делегирования раскрывается через решения: кто формулирует цель, выбирает подход, меняет код и конфигурацию, запускает инструменты, оценивает результат и разрешает выпуск. Дополнительно измеряются число одновременных потоков, типичная продолжительность работы без вмешательства и доступные агенту действия.

Эти признаки образуют формативный профиль: увеличение одного компонента не обязано сопровождаться увеличением другого. Поэтому внутренняя согласованность вроде альфы Кронбаха или omega не используется для доказательства качества единого индекса агентности. Основной анализ сохраняет отдельные измерения; типология профилей допустима только как вторичный поисковый анализ с проверкой устойчивости.

Надзор, доверие и долг знания

Качественное исследование опытных разработчиков выделяет предварительный контроль, совместное планирование, мониторинг в реальном времени и итоговую проверку как разные формы человеческого надзора (откроется в новой вкладке). Анкета измеряет их отдельно, а также время на постановку, чтение результата, проверку тестов, исправление и восстановление контекста.

Доверие не означает готовность принять любой результат. Калиброванное доверие проявляется в соответствии глубины проверки риску задачи, способности обнаружить ошибку и наличии независимых свидетельств — тестов, наблюдаемости, ревью или безопасного отката. Поэтому общий вопрос о доверии сохраняется для сопоставимости с 2025 годом, но не заменяет поведенческие индикаторы проверки.

«Долг знания» обозначает ситуацию, когда команда получает работающий результат быстрее, чем формирует достаточное понимание решения. Это новый исследовательский конструкт AI4SDLC, а не ранее валидированная шкала. Его индикаторы проходят когнитивное тестирование и поисковую проверку структуры; до такой проверки они публикуются отдельно.

DORA и результаты компании

Анкета сохраняет актуальные показатели DORA software delivery performance (откроется в новой вкладке): время прохождения изменения, частоту развёртываний, время восстановления после неудачного изменения, долю неудачных изменений и долю повторных развёртываний. Надёжность измеряется отдельно через выполнение обещаний пользователям и способность сервиса достигать заданных эксплуатационных целей.

Организационная результативность измеряется относительно целей, а не абсолютными значениями прибыли или выручки. Управленческая ветка охватывает выполнение миссии и целей, удовлетворённость клиентов, качество продукта, операционную эффективность, общую результативность и прибыльность, если респондент имеет к ним доступ. ROI не строится из одной оценки «сэкономленных часов»: отдельно учитываются лицензии, внедрение, обучение, инфраструктура, проверка, переделки и последствия дефектов. Подробный финансовый расчёт относится к следующему протоколу; методологический ориентир задаёт DORA ROI of AI-assisted Software Development (откроется в новой вкладке).

Причинная схема строится до выбора ковариат. Она не превращает поперечные данные в эксперимент, но помогает различать общие причины экспозиции и исхода, последствия агентной работы и переменные, условие на которых способно добавить смещение. DORA использует DAG именно для выбора того, какие ковариаты следует и не следует включать в конкретную модель; открытые примеры доступны в структурных моделях 2023 года (откроется в новой вкладке).

Потенциальные общие причины группируются по уровням:

• человек: роль, общий стаж, опыт в команде и предметной области, опыт с AI, характер и сложность задач;
• команда и сервис: размер команды, возраст и критичность сервиса, архитектурная связанность, технический долг, регуляторная нагрузка, тип поставки, нагрузка и стабильность приоритетов;
• организация: отрасль, размер, страна работы команды, доступ к инструментам, обучение, AI‑политика, инвестиции в платформу и одновременные изменения процессов.

Для основной условной ассоциации между профилем агентной работы и результатом поставки набор поправок выбирается из предполагаемых предшествующих общих причин. Текущие инженерные способности могут одновременно быть историческим условием внедрения, модератором и результатом изменений процесса; поэтому их роль задаётся для каждой модели отдельно, а не скрывается в универсальном списке контролей.

Надзор, переделки, DevEx и показатели поставки находятся на предполагаемом пути после экспозиции. При оценке полной связи агентной работы с конечным результатом на них не поправляются. Они входят в отдельные модели механизмов, где исследовательский вопрос явно меняется. Организационная результативность также не используется как контроль при анализе пути от поставки к компании.

Даже корректный DAG не устраняет самоотбор ранних пользователей, обратную причинность, ошибку памяти и общую ошибку метода, когда один человек оценивает и экспозицию, и результат. Эти угрозы описываются рядом с каждой моделью и проверяются анализами чувствительности, но не объявляются полностью устранёнными.

Анкета состоит из обязательного ядра и ролевых веток. Типичный специалист должен завершать её за 15–18 минут; управленческая ветка может увеличить время до 20 минут. Матрицы ограничиваются однородными наборами, варианты «не применимо» и «не знаю» не объединяются с серединой шкалы.

Обязательное ядро включает:

1. критерии участия и выбор основной команды или сервиса;
2. профиль агентной работы и классы задач;
3. разделение труда, надзор и проверку;
4. инженерные способности и показатели DORA;
5. DevEx, обучение и командное знание;
6. роль, опыт и контекст команды, сервиса и организации.

Для руководителей добавляются выполнение организационных целей, затраты, ожидаемый и наблюдаемый возврат инженерной ёмкости. Для неиспользующих AI сохраняются вопросы о доступе, причинах отказа и инженерном контексте; их нельзя исключать, иначе выборка будет описывать только продолжающих пользователей.

Якорное ядро 2025 года сохраняет частоту сценариев, доверие, время прохождения изменения, частоту развёртываний, восстановление, качество кода и документации, поток, выгорание, командную и организационную результативность. Исторический MTTR уточняется до времени восстановления после неудачного изменения, а к стабильности добавляются доля неудачных изменений и повторных развёртываний. Вопросы вида «как AI повлиял» остаются самооценкой восприятия и не являются основным исходом.

До поля проводятся 12–16 когнитивных интервью с индивидуальными специалистами и руководителями, пользователями и неиспользующими AI участниками из России и других стран СНГ. Затем пилот на 80–120 ответах проверяет ветвление, длительность, пропуски, распределения и полный процесс очистки. Пилотные данные не объединяются с основной волной после содержательных изменений анкеты.

Целевая совокупность — русскоязычные специалисты, непосредственно участвовавшие в создании, поставке или эксплуатации программного обеспечения в команде, работающей в России или СНГ, в последние три месяца. Страна работы команды и страна проживания измеряются отдельно. Человек, работающий в нескольких командах, отвечает о той, где провёл больше всего инженерного времени.

Основной набор является многоканальным и добровольным: профессиональные сообщества, партнёрские организации, отраслевые медиа и прямые приглашения. По каждому каналу сохраняются период, текст приглашения и число начатых и завершённых анкет. Используются мягкие ориентиры по роли, стране работы, отрасли и размеру организации, но квоты не превращают добровольную выборку в вероятностную.

Результаты описывают полученную выборку и не называются репрезентативной оценкой всех специалистов России и СНГ. Для такой выборки не публикуется классическая «погрешность опроса». Интервалы в моделях отражают статистическую неопределённость при заданных допущениях, а не неопределённость случайного отбора из известной рамки. Эти правила следуют принципам прозрачности AAPOR (откроется в новой вкладке).

Итоговый размер основной выборки фиксируется после пилота с помощью моделирования мощности для заранее выбранных взаимодействий «агентность × инженерная практика». В расчёте задаются ожидаемые доли пользователей разных режимов, распределения основных исходов, число параметров и допустимый уровень ошибок. Публикация произвольной цели без связи с моделями не допускается.

Защита качества включает техническую дедупликацию с минимизацией собираемых данных, проверку прохождения веток, длительности и внутренней непротиворечивости. Быстрое заполнение или одинаковые ответы по матрице сами по себе не являются достаточной причиной исключения. Правила задаются до просмотра содержательных результатов и проверяются на пилоте.

Анализ разделяется на подтверждающую и поисковую части. До начала поля регистрируются гипотезы, основные экспозиции и исходы, допустимые ковариаты, правила исключения, обработка пропусков, направление шкал, модели и поправка на множественные проверки. Временная метка и неизменяемая версия плана публикуются через OSF Registrations (откроется в новой вкладке) или эквивалентный открытый репозиторий.

Подготовка данных

Для каждого вопроса публикуются формулировка, знаменатель, число наблюдений и доля пропусков. «Не знаю» и «не применимо» кодируются отдельно. Основной анализ не скрывает фактические размеры сегментов; малые группы либо не интерпретируются, либо объединяются только по заранее описанному содержательному правилу.

Пропуски исследуются по блокам и характеристикам участников. Анализ полных случаев сопровождается проверкой чувствительности; множественное восстановление допустимо только для моделей, где его допущения и набор предикторов зафиксированы заранее. Результаты до и после восстановления показываются раздельно.

Измерительные модели

Для новых отражающих шкал проверяются факторная структура, коэффициент omega, сходящаяся и различающая валидность. Порядковые ответы анализируются методами, подходящими для категориальных шкал. При достаточном размере выборки поисковая и подтверждающая проверки выполняются на разных частях данных; иначе структура проверяется в пилоте и подтверждается в основной волне без подгонки по результату.

Сопоставимость проверяется по роли, России и другим странам СНГ, а также между использующими и неиспользующими AI участниками. Если инвариантность измерения не поддерживается, средние скрытых конструктов между группами не сравниваются напрямую. Формативный профиль агентной работы не оценивается через omega и не превращается в шкалу только потому, что его компоненты коррелируют.

Основные модели

Сначала публикуются распределения режимов работы, глубины делегирования, задач, надзора и показателей результата. Затем оцениваются заранее заданные условные ассоциации:

• профиль агентной работы — с локальной скоростью и стоимостью надзора;
• профиль агентной работы — с пропускной способностью и нестабильностью поставки;
• взаимодействие агентной работы с выбранными инженерными способностями;
• показатели DORA — с командной, продуктовой и организационной результативностью.

Тип модели выбирается по шкале исхода: порядковые модели для категорий, обобщённые линейные модели для долей и непрерывных величин, структурные модели — только для заранее определённых латентных конструктов и путей. Огромная единая SEM не строится: DORA также перешла к меньшим моделям, потому что добавление каждой переменной меняет оценки и усложняет интерпретацию.

Для первичных проверок публикуются оценки, интервалы неопределённости и стандартизованные величины, а не только p‑значения. Для семейства вторичных и поисковых сравнений применяется контроль ложных открытий. Кластеризация профилей, сегменты и свободные ответы маркируются как поисковый анализ и не переименовываются в подтверждённые гипотезы после просмотра данных.

Анализы чувствительности

Основные результаты повторяются при альтернативных определениях автономности, с весами и без них, на полных случаях и после допустимой обработки пропусков, отдельно для России и СНГ, руководителей и индивидуальных специалистов. Дополнительно проверяются участники с разным опытом AI, критичностью сервисов и видимостью организационных показателей.

Поправочные веса используются только при наличии надёжных внешних распределений и прозрачной модели отбора. Взвешенные оценки всегда сопровождаются невзвешенными; веса не объявляются способом полностью исправить самоотбор добровольцев.

Анкета собирает минимально необходимый контекст. Контактные данные для получения результатов хранятся отдельно от ответов и не используются как идентификатор аналитической записи. До поля публикуются текст информированного согласия, цели обработки, срок хранения, круг доступа и порядок удаления данных.

Не запрашиваются исходный код, названия закрытых проектов, содержание подсказок, секреты, персональные данные коллег или сведения об инцидентах, способные раскрыть организацию. Свободные ответы перед анализом и цитированием проверяются на персональные, коммерческие и конфиденциальные сведения. Малые пересечения ролей, стран и отраслей подавляются, если создают риск повторной идентификации.

Вместе с отчётом публикуются версия анкеты, каналы набора, правила очистки, кодбук, формулы показателей, спецификации моделей, знаменатели и отклонения от предварительного плана. Обезличенный набор или синтетический пример публикуется только после отдельной оценки риска; если открытие сырых данных невозможно, причина описывается явно.

Поперечная волна измеряет экспозицию, практики и результаты примерно в один период. Временная последовательность между ними задаётся теорией, но не наблюдается непосредственно. Поэтому DAG и статистические поправки помогают формулировать вопрос, однако не превращают найденную связь в эффект внедрения.

Добровольный набор усиливает самоотбор: ранние пользователи, участники профессиональных сообществ и люди с сильным мнением об AI могут отвечать чаще. Самоотчёты подвержены памяти, социальной желательности и различной трактовке шкал. Один респондент может хорошо знать свою работу и плохо знать затраты, прибыльность или политику всей организации.

Инструменты и модели меняются во время полевого этапа, а одинаковое название продукта может скрывать разные режимы работы. Задачи, сервисы и цена ошибки неоднородны; средняя связь не гарантирует такой же результат в конкретной команде. Многочисленные одновременно происходящие изменения — найм, реорганизация, миграция платформы, изменение приоритетов — могут объяснять часть наблюдаемой разницы.

Итоговый отчёт показывает эти ограничения рядом с соответствующими выводами. Утверждение «X% респондентов сообщили» относится к выборке; «X связано с Y» — к заданной модели; «X вызвало Y» для основной волны 2026 года не используется.

• DORA Research Questions 2025 (откроется в новой вкладке) — открытые формулировки индикаторов AI, DORA, команды, DevEx и организационной результативности.
• DORA software delivery performance metrics (откроется в новой вкладке) — актуальное определение показателей поставки и границы их применения.
• Choosing measurement frameworks (откроется в новой вкладке) — различия самоотчётов и системных журналов и выбор рамки из цели измерения.
• DORA Structural Equation Models 2023 (откроется в новой вкладке) и Accelerate State of DevOps 2024 (откроется в новой вкладке) — небольшие теория-ориентированные модели, DAG и ограничения причинных выводов из поперечного опроса.
• The SPACE of Developer Productivity (откроется в новой вкладке) и DevEx: What Actually Drives Productivity (откроется в новой вкладке) — многомерная продуктивность, обратные связи, когнитивная нагрузка и поток.
• Measuring AI agent autonomy in practice (откроется в новой вкладке) и Agentic coding and persistent returns to expertise (откроется в новой вкладке) — операциональные признаки автономности, разделение планирования и исполнения и роль предметной экспертизы.
• Human oversight of agentic systems in practice (откроется в новой вкладке) — формы надзора и трудности проверки агентных результатов.
• Writing Code vs. Shipping Code (откроется в новой вкладке) — ослабление роста активности при переходе от коммитов к проектам и выпускам.
• AAPOR Transparency Initiative (откроется в новой вкладке) и Best Practices for Survey Research (откроется в новой вкладке) — раскрытие неслучайной выборки, когнитивное тестирование и пилотирование.
• OSF Registrations (откроется в новой вкладке) — предварительная регистрация гипотез, переменных, исключений и анализа.