ChatGPT 返回显示,现在成功消除了代码中的错误
雅加达 - 最近几周,基于人工智能(AI)的聊天机器人ChatGPT已经在许多任务上进行了测试,例如在法律和商业大学进行考试。这一次,他的最新挑战消除了代码中的错误。
挑战者是来自约翰内斯古腾堡大学和伦敦大学学院的计算机科学研究人员。
他们设法使 ChatGPT 能够消除示例代码的错误,并比旨在执行此操作的现有程序更好地修复它们。
研究人员使用QuixBugs错误修复基准测试了ChatGPT性能。自动程序修复系统(APR)似乎处于劣势,因为它是在2018年之前开发的。
然后,他们将QuixBugs 40 Python提供给四个不同的代码改进系统,即ChatGPT,Codex,CoCoNut和Standard APR。然后,他们手动检查建议的解决方案是否正确。
在第一条轨道上,ChatGPT 与任何其他系统一样好。OpenAI制作的机器人解决了19个问题,Codex解决了21个问题,CoCoNut解决了19个问题,标准APR方法发现了7个错误。
研究人员发现,ChatGPT与后续互动的成功率达到了77.5%。然而,法典和ChatGPT的答案最相似。这并不奇怪,因为ChatGPT和Codex的起源据说研究人员来自同一个语言模型家族。
但是,在收到初始答案后与 ChatGPT 聊天的能力会有所不同,这最终导致 ChatGPT 解决 31 个问题,并轻松超越其他人,提供更多静态答案。
“ChatGPT的强大优势在于我们可以与系统进行对话,以更详细地确定请求,”研究人员在由New Scientist首次发现的新arXiv论文中说。
“我们看到,对于我们的大多数请求,ChatGPT 都会询问有关问题和错误的更多信息。通过向 ChatGPT 提供此类线索,可以进一步提高其成功率,修复 40 个错误中的 31 个,“他补充说。
此外,1 月 30 日星期一引用 PCMag,ChatGPT 还可以快速解决一些问题,而另一些则不能,“ChatGPT 在修复错误时似乎有相对较高的变化。然而,对于最终用户来说,这意味着它可以帮助多次执行请求,“研究人员说。