人工智能辅助编程：从代码生成到仓库验证

1 问题与核心论点

一个能生成函数的模型，是否也能可靠修复既有系统？本文把短程序、竞赛题和代码仓库任务分开讨论，避免用某一种测试成绩概括全部软件工程能力。

2 文献范围与研究脉络

本文目的性选取 12 篇研究文献，按研究问题进行叙述性综合，不是系统综述或荟萃分析。所选文献首次提交于 2017—2024 年，未覆盖截至 2026 年的全部进展。2026 年 9 月 8 日核对题名、作者、提交日期、公开摘要、来源页与 PDF 入口；区分原始研究、技术报告和综述，不将它们视为同等强度的实验证据。对 FActScore、ALCE、EvalPlus 与 τ-bench 的相关方法段落此前进行了定向核查，未逐篇全文审查或复现实验。

Codex 研究以 HumanEval 等任务检验从描述生成程序的功能正确性，并报告重复采样的作用与模型局限。[1]MBPP 所在研究以自然语言描述生成短 Python 程序为对象，提供了基础程序合成任务的评价依据。[2]

AlphaCode 将大规模候选采样与按程序行为筛选结合，用于竞赛编程；其评价对象不是长期维护中的完整软件系统。[3]Pearce 等在设定的安全相关场景中发现早期 Copilot 会生成含漏洞的代码；这一历史研究不能直接代表当前产品的漏洞率。[4]

CodeGen 研究把程序需求分解为多轮子问题，并通过专门基准考察多轮程序合成。[5]StarCoder 公开了代码模型研究，并讨论训练数据许可、个人信息处理和来源追踪等发布安排。[6]

Code Llama 提供代码生成、补全和指令跟随等模型变体，显示代码任务需要区分不同训练与使用条件。[7]EvalPlus 扩充程序合成基准的测试输入，发现原有测试未识别的错误；测试集的充分性会影响模型评价。[8]

SWE-bench 把真实代码仓库中的问题与修复作为任务，要求模型理解并协调跨函数、类或文件的修改。[9]SWE-agent 研究智能体与计算机交互界面的设计，考察代码导航、编辑和执行测试等操作如何影响修复表现。[10]

Agentless 采用定位、修复与补丁验证的简化流程，表明软件修复研究需要把简单流程纳入对照。[11]LiveCodeBench 持续收集新竞赛问题，并扩展到自修复、代码执行和测试输出预测，以研究评价污染及能力覆盖问题。[12]

3 综合论证与拟议方法

这些工作所用任务、模型、采样预算和测试集合不同，论文中的成绩不能直接横向排序。本文据此把验收划分为局部行为、相关模块和目标运行环境三层。简单任务应保留简单流程作为对照；引入更复杂的智能体系统，需要证明额外成本对应的收益。

先保存最小复现和预期行为，再限制修改文件与不变条件。实现后分别检查正常输入、异常输入和边界输入，审阅新增依赖、访问控制及错误处理。交付记录应包含版本标识、实际运行的测试、未覆盖环境及恢复方法；生成代码的篇幅不作为质量指标。

4 研究命题与对照

在固定修改范围和成本预算下，独立测试是否提升最终补丁的有效修复比例，而不仅是检出更多错误？若检出率提高但最终可用补丁未增加，应分别报告，不认定修复有效性提高。

对照人工修复、单轮生成与简化定位—修复—验证流程；完整流程加入独立测试与回归门禁。冻结基准版本，隔离补丁生成者与保留测试，记录依赖和环境散列。

5 操作定义与判定边界

代码任务仅在预定义问题得到修复、独立验收通过且必要回归检查未失败时记为有效修复，同时单列安全审查和目标环境覆盖范围。这个操作定义受测试充分性限制，不等于证明程序对所有输入正确。检出错误数、最终修复数及审查耗时不可互相替代。

建议在固定仓库版本和隔离环境中比较人工修复与 AI 辅助修复，记录任务成功数、回归失败数、人工审查时间和工具调用成本。失败、超时和需要人工接管的任务均保留在样本中。测试通过只说明已运行用例的表现，不能代替生产部署核验，也不能把历史基准成绩描述为当前工具排名。

6 可检验的评价方案

以任务而非同一任务的重复输出为独立抽样单位。先用独立先导样本确定标注可行性、成本与效应量范围，再据精度或功效目标确定正式样本量；先导集不进入保留评估集。中文和英文任务分别分层，翻译对应的任务视为配对而非独立样本。公开任务纳入与排除标准，冻结输入、版本、权限及预算。

条件顺序随机化，同一任务成对比较；评审者在可行时不知道任务所属条件。报告原始计数、任务层面的效应差与区间，不把重复运行当作额外独立任务。对多任务族分层汇报，并进行缺失与超时处理的敏感性分析。超时、拒答和人工接管保留且分别计数；若需更改原定方案，应说明变更时间和理由。

复核材料应包含任务清单、数据授权状态、模型与工具版本、提示模板、随机种子（如可设定）、测试与判定规则、失败日志和分析脚本。含个人或受限信息的材料不因复现需要而直接公开；可发布脱敏结构和受控访问说明。上述材料是拟议的研究产物，本站目前不提供已完成实验的数据集或分析代码。

7 解释边界与替代解释

EvalPlus 表明更充分的测试能暴露既有评估遗漏的错误，其研究也讨论参考实现错误。这不意味着增加测试即可证明所有输入均正确；测试可靠性和最终补丁正确性必须分开审查。[8]

本稿没有原创实验或当前产品比较。额外工具、人工审查或预算差异可能解释表面提升；只挑选成功任务也会引入偏差。研究结果若与预期不符，应保留失败及负结果，并报告模型、语言、任务族和环境边界，不能把历史基准外推为当前系统保证。

8 结论

生成补丁、通过已执行测试和生产环境可用是三个不同结论。以版本、差异、独立测试和运行态证据连接这些结论，是待验证的交付框架，不是已证明的通用安全保证。

本文是人工智能+总论的专题展开，与总论共享文献和框架，不构成独立的实证研究。阅读总论。

9 声明与可用性

数据与代码：本文未生成原创实验数据；文献来源逐项链接。实验与分析代码尚未实现，不将网页代码作为实验复现包。

作者、贡献、资助与利益冲突：Alsay 是网页发布主体，不据此推定学术作者身份。真实作者名单、贡献分工、资助和利益冲突须由责任人确认；本稿不代填“无利益冲突”，也不虚构单位、学位或伦理批准。

AI 使用与版本：检索、结构组织、文字编辑和中英翻译使用 AI 辅助。两版为同一研究稿的对应语言版本，不是两项独立研究；责任作者的学术审定仍待完成。本文未宣称经同行评审、被期刊录用或已完成预注册。