ジャカルタ-ここ数週間、人工知能(AI)ベースのチャットボットであるChatGPTは、法科大学やビジネス大学での試験の実施など、多くのタスクでテストされています。今回、彼の最新の課題はコードのエラーを排除します。
挑戦者は、ヨハネスグーテンベルク大学とユニバーシティカレッジロンドンのコンピューターサイエンス研究者でした。
彼らは、ChatGPTがサンプルコードでエラーを排除し、同じことをするように設計された既存のプログラムよりも適切に修正できるようにしました。
研究者は、QuixBugsバグ修正ベンチマークを使用してChatGPTのパフォーマンスをテストしました。自動プログラム修復システム(APR)は、2018年以前に開発されたため、不利な立場にあるようです。
次に、QuixBugs 40 Pythonを4つの異なるコード改善システム、つまりChatGPT、Codex、CoCoNut、Standard APRに提供しました。次に、手動で、提案された解決策が正しいかどうかを確認します。
最初のトラックでは、ChatGPTは他のシステムと同じように機能します。OpenAIによって作成されたボットは19の問題を解決し、コーデックスは21を解決し、CoCoNutは19を解決し、標準のAPRメソッドは7つのエラーを検出しました。
研究者が発見したフォローアップインタラクションを伴うChatGPTの成功率は77.5%に達しました。ただし、コーデックスとChatGPTの答えは最も似ています。ChatGPTとCodexが生まれたため、研究者は同じ言語モデルファミリーに属していると言われています。
ただし、最初の回答を受け取った後にChatGPTとチャットする機能は違いを生み、最終的にChatGPTは31の質問を解決し、他の質問を簡単に上回り、より静的な回答を提供します。
「ChatGPTの強力な利点は、対話でシステムと対話して、要求をより詳細に決定できることです」と、研究者はニューサイエンティストによって最初に発見された新しいarXiv論文で述べています。
「私たちのリクエストのほとんどは、ChatGPTが問題やバグに関する詳細情報を求めています。このような手がかりをChatGPTに提供することで、その成功率はさらに向上し、40のバグのうち31を修正できます」と彼は付け加えました。
さらに、1月30日月曜日のPCMagから引用すると、ChatGPTはいくつかの問題を迅速に解決できますが、他の問題は解決できません。ただし、エンドユーザーにとっては、リクエストを複数回実行するのに役立つことを意味します」と研究者は述べています。
The English, Chinese, Japanese, Arabic, and French versions are automatically generated by the AI. So there may still be inaccuracies in translating, please always see Indonesian as our main language. (system supported by DigitalSiber.id)
