SWEPR (Software Engineering Productivity Research)

SWEPR (Software Engineering Productivity Research) — исследовательская группа Stanford University, которая изучает и измеряет продуктивность инженерных команд на основе данных из Git‑репозиториев. Помимо базовой темы «engineering productivity» группа ведет направления про практики AI‑ассистированной разработки и про влияние AI‑инструментов на продуктивность и качество.

Миссия / цель

• Дать data‑driven измерение продуктивности там, где традиционные метрики (LOC, story points, commit counts, DORA и т. п.) плохо отражают реальную ценность.
• Помочь организациям измерять и улучшать работу инженерных команд, включая оценку эффекта AI‑инструментов и возможных рисков для качества.

Что и как исследуют (фокус на разработке)

• Коммиты как единица анализа: SWEPR строит измерение вокруг изменений кода в Git и использует ML‑модель, которая воспроизводит оценки «панели экспертов», оценивающих каждый коммит.
• Калибровка на экспертных оценках: в публикациях группы описана настройка модели на разметке опытных разработчиков/архитекторов, чтобы приблизить автоматическую оценку к реальному code review.
• Прикладной выход: участники получают разрезы по командам/репозиториям и сравнения по бенчмаркам.

С 2022 года SWEPR указывает сотрудничество с 600+ организациями и 120k+ инженерами.

Данные, “опросы” и бенчмарки

• SWEPR отмечает, что лицензии инструментов и опросы дают неполную картину использования AI, поэтому делает упор на наблюдаемые артефакты в репозиториях.
• AI Practices Benchmark: локальный запуск Docker‑сканера, который ищет следы промптов/агентов/воркфлоу и относит репозитории к уровням зрелости (L0–L4). По желанию можно отправить в SWEPR только анонимизированные метрики (без исходников) для кросс‑индустриальных сравнений.
• AI Impact: дополнительно подключаются usage‑данные через API AI‑инструментов (Copilot, Cursor и др.), чтобы связывать факт использования с изменениями продуктивности/качества.

Структура и управление (по публичным данным)

• SWEPR позиционируется как университетская исследовательская группа. Публично не раскрыты совет/комитеты, но портфель работ и публикаций показывает управление через исследовательскую команду Stanford и академические практики (публикации, описанные методологии).
• Модель взаимодействия с индустрией — партнерство с компаниями и организациями: типовые требования включают 50+ инженеров, использование Git (GitHub/GitLab/Bitbucket/Azure DevOps), и предоставление неконфиденциальных метаданных.
• Доступны варианты развертывания: обработка в облаке или on‑prem/private cloud (код может не покидать периметр компании).

Почему их мнение важно при оценке влияния AI на разработку

• Масштаб и репрезентативность: данные от сотен организаций дают более устойчивые выводы, чем небольшие кейсы или самооценки.
• Метрики ближе к “ценности”, а не к активности: экспертно‑калиброванный анализ коммитов снижает риск неправильных выводов из счетчиков действий.
• Критичный взгляд на LLM‑инструменты: исследования SWEPR про вариативность LLM‑ответов в code review подчеркивают необходимость измерять эффект AI аккуратно (и учитывать надежность/воспроизводимость).