近年来，生成式 AI 编码助手如 GitHub Copilot 等工具被广泛推广，号称能够提高开发者的生产力，减少开发时间。然而，最新研究表明，这些工具的实际效果可能不如预期，甚至在某些情况下可能导致代码质量下降和工作效率降低。
原文链接：https://shenisha.substack.com/p/are-ai-coding-assistants-really-saving
作者 | Shenisha 翻译 | 郑丽媛
出品 | CSDN（ID：CSDNnews）
近期，一项研究对“AI 编码工具能够提升开发者生产力”的说法提出了质疑，结果显示：使用 GitHub Copilot 反而导致 Bug 增加了 41%，突显其代码质量堪忧；尽管对照组和实验组的工作时长都有所减少，但使用 GitHub Copilot 的开发者的倦怠感和工作压力并未因此减少；此外，开发者还需花费更多时间审查 AI 生成的代码，一定程度上抵消了其潜在节省的时间。
综合看下来，AI 编码工具对开发者生产力的影响似乎微乎其微。
调查了 800 名开发者，Uplevel 指出：GitHub Copilot 无功无过
在开发者社区中，围绕 AI 编码助手是否真正提升生产力的讨论仍在继续。虽然有些公司报告称 AI 工具带来了显著的生产力提升，但也有一些公司发现这些工具引入了更多错误，并使调试过程变得更加复杂。尤其是初级开发者，即便有 AI 工具的帮助也难以达到高级开发者的效率。
编码工具是生成式 AI 崛起的早期应用之一，但分析公司 Uplevel 的一项最新研究表明，预期的生产力提升可能被高估了，甚至根本不存在。Uplevel 通过分析编码和协作数据发现，使用 GitHub Copilot 导致了错误率上升 41%。
在《生成式 AI 能否提升开发者生产力》报告中，Uplevel 提到：“这表明 Copilot 可能对代码质量产生了负面影响。工程主管可能需要调查带有 Bug 的拉取请求，并为负责任地使用生成式AI实施保障措施。”
研究衡量了拉取请求（PR）周期时间（将代码合并到仓库所需的时长）以及 PR 吞吐量（即合并请求的数量），结果发现，使用 GitHub Copilot 的开发者在这些指标上并未显著改进——这些发现来自 Uplevel 的研究报告，其旨在回答以下三个关键问题：
- 使用 GitHub Copilot 是否能帮助开发者更快地编写代码？
- GitHub Copilot 是否能帮助开发者产出更高质量的代码？
- GitHub Copilot 是否能缓解开发者的倦怠感？
Uplevel 分析了其客户的数据，对比了约 800 名开发者在采用 GitHub Copilot 前后三个月的表现，得出了以下两个主要发现：
（1）效率指标无显著变化
“当比较有无测试情况下的PR周期时间、吞吐量和复杂度时，GitHub Copilot 对开发者既无帮助也无阻碍，也未提高编码速度。尽管其中一些指标具有统计学意义，但这些变化对技术结果并无实际影响——例如，PR 周期时间仅减少了 1.7 分钟。”Uplevel 在报告中指出。
（2）减轻职业倦怠感
Uplevel 的“持续在线”指标（该指标用于追踪超出常规工作时间之外的工作时长，是检验职业倦怠感的先行指标）在两组中都出现了下降。然而，使用 GitHub Copilot 的开发者下降了 17%，而不使用该工具的开发者则下降了近 28%。
GitHub 发布的研究结果，得出了不同结论
“Uplevel 的研究动机是源于对 AI 编码助手将成为主流这一说法感到好奇。”Uplevel 的产品经理兼数据分析师 Matt Hoffman 说。相比之下，GitHub 于 2024 年 8 月发布的一项研究发现，97% 的软件工程师、开发者和程序员报告称他们正在使用 AI 编码助手，且其他研究也有类似发现。
GitHub 的研究报告指出，超过 97% 的受访者在工作中曾使用过 AI 编码工具。然而，对于公司是否积极鼓励或允许使用这些工具，所占比例较小，且这一比例因地区而异。以下是该调查的一些关键发现：
● 生成式 AI 在软件开发领域的浪潮持续增长。此次调研覆盖了 2000 名参与者，几乎所有人（超过 97%）都曾经以某种形式使用过这些工具，无论是在工作中还是工作之外（尽管并非所有公司都正式认可其使用）。
● 尽管许多受访者表示其所在公司对 AI 技术持开放态度，但仍有改进空间。调查数据显示，在不同市场中，59% 至 88% 的受访者表示“他们的公司积极鼓励或允许使用这些工具”。
● 软件开发团队正在逐渐认识到 AI 编码工具的更多好处，包括创建更安全的软件、提高代码质量、生成更好的测试用例，以及加快新编程语言的学习过程。这些改变为开发者节省了大量时间，让他们能够投入到更具战略意义的任务当中。
GitClear 的研究人员还发现，像 GitHub Copilot 这样的 AI 工具主要建议添加新代码，较少推荐更新或删除代码，这往往会导致冗余代码的产生。此外，他们还观察到“代码反复修改”现象的急剧增加，也就是说代码被频繁修改——通常这是代码质量不佳的表现。
“每次迭代生成的 AI 代码越来越不一致，因为不同部分是基于不同提示而生成的。结果就是，代码变得越来越难以理解和调试，导致故障排查耗费大量资源，有时重写代码反而更加容易，”一位用户指出，AI 目前还未能提升生产力。
谨慎采用 AI 编码助手的策略
GitHub Copilot 等 AI 工具的引入提出了几个重要问题：AI 是否能帮助开发者更快地工作？它能否提高代码质量并防止职业倦怠？对此，Uplevel 在报告中回应：“对于当前的群体来说，答案是否定的。然而创新正在迅速发展，GitHub 发现 Copilot 提高了开发者的满意度。”
总体来说，工程领导可能需要以一种谨慎的态度来考虑如何采用 Copilot：
- 设定具体目标：明确将 GitHub Copilot 整合到团队工作流程中的预期成果。比如你希望实现哪些具体改进？
- 提供团队培训：进行初步培训，解释在什么情况下应该或不应该使用 GitHub Copilot，并建立保障措施以确保正确实施。
- 继续尝试生成式 AI 的应用：确定 Copilot 表现出色的具体应用场景，并优化能带来最佳效果的提示词。在整个组织内分享成功的策略，以便复制成功经验。
- 监控技术效率指标：进行 A/B 测试，以收集客观量化的数据，评估 AI 是否真正提高了开发者的生产力，并帮助实现运营目标。
最后，还有一则好消息：PM-Summit 全球产品经理大会「云会员」重磅来袭！云会员将通过线上线下的多种互动渠道，与全球顶尖的产品经理们交流、学习与成长。无论您身处何地，云会员计划都将为您打开通往知识与资源宝库的大门。
除此之外，全球机器学习技术大会（ML-Summit）将于2024年11月14-15日在北京金茂威斯汀大饭店举办。聚焦大模型领域的工程实践，包括海内外50+讲师，12大主题。详情参考官网：http://ml-summit.org/ (或点击原文链接）