How AI Impacts Skill Formation

Рандомизированный эксперимент How AI Impacts Skill Formation проверяет не только скорость работы с ИИ, но и то, чему разработчик научился после выполнения задачи. На незнакомой библиотеке Python помощь GPT-4o не дала статистически значимого ускорения в среднем, однако снизила последующий результат проверки знаний.

Дизайн эксперимента

В основном исследовании участвовали 52 разработчика с опытом Python не менее года, которые раньше не использовали библиотеку Trio. Участников случайно распределили поровну между условием с чат-помощником GPT-4o и контрольной группой без ИИ. Обе группы получили до 35 минут на две задачи по асинхронному программированию, после чего без ИИ прошли тест из 14 вопросов на 27 баллов.

Тест измерял концептуальное понимание, чтение кода и отладку — навыки, необходимые для проверки автоматически созданного решения. Авторы заранее зарегистрировали дизайн и критерии оценивания, собирали нажатия клавиш и записи экрана, а перед основным запуском провели четыре пилотных исследования, чтобы уменьшить нарушение условий и влияние посторонних знаний синтаксиса.

Скорость и усвоение материала

В основной выборке использование ИИ не привело к статистически значимому изменению времени выполнения. Все 26 участников с ИИ завершили вторую задачу, тогда как в контрольной группе её не успели закончить четверо, но средняя разница по времени не позволила сделать надёжный вывод об ускорении.

После задания группа с ИИ набрала в среднем на 4,15 балла меньше по 27-балльной шкале — примерно на 17%, или на две отметки. Эффект оставался статистически значимым после учёта времени разминочной задачи. Самый большой разрыв наблюдался в вопросах по отладке: участники без ИИ чаще самостоятельно сталкивались с ошибками и разбирались с ними во время работы.

Способы использования ИИ

Анализ записей экрана выявил шесть устойчивых способов взаимодействия. Полное делегирование кода иногда ускоряло выполнение, но сопровождалось слабым усвоением библиотеки. Три паттерна с активной умственной работой — запрос объяснений, вопросы о понятиях и использование ИИ после самостоятельной попытки — лучше сохраняли результаты обучения.

Это уточняет разговор о продуктивности: доступ к ИИ сам по себе не определяет исход. Важны момент обращения, тип запроса и то, сохраняет ли разработчик необходимость построить собственную модель решения.

Ограничения и практический вывод

Эксперимент мал и проверяет короткое знакомство с одной библиотекой на отобранных опытных пользователях Python. Он не измеряет долговременное удержание знаний, работу в команде или реальные производственные задачи; различия между шестью паттернами получены из качественного, а не отдельного рандомизированного сравнения.

Тем не менее исследование показывает риск для агентной разработки: если человек отвечает за проверку результата, рабочий процесс должен поддерживать формирование навыков, необходимых для этой проверки. Полезны объяснение решений, самостоятельная диагностика до делегирования и явные учебные режимы, а не только скорость получения готового кода.