ChatGPTは偽の抄録で研究者をだますことができます、どのように?

伝えられるところによると、ChatGPTは偽の科学抄録で研究者をだましました

ジャカルタ-OpenAIによって作成された人工知能(AI)であるChatGPTは、人間が書いた実際のテキストを読んでいると思わせる偽の科学抄録で研究者をだましていると伝えられています。

ノースウェスタン大学が率いる研究者チームは、テキスト生成ツールを使用して、5つの異なる医学雑誌のスタイルで実際の科学論文のタイトルに基づいて50の要約を生成しました。

要約は、研究されているものの全体像を与えるために研究論文の上部に追加されるきちんとした要約です。

さらに、アブストラクトはブリティッシュメディカルジャーナル(BMJ)とネイチャーメディシンからの選択について訓練されました。その後、4名の研究者が受験登録を行い、2人ずつの2つのグループに分けました。

電子コイントスを使用して、オリジナルまたは偽のAI生成アブストラクトを各グループの1人のレビューアに渡すかどうかを決定しました。1人の研究者には元の要約が与えられ、2番目の研究者には偽の要約が与えられ、その逆も同様です。誰もが25の科学抄録をレビューします。

その結果、コンピューターのテキストが盗用防止検出器を通過しただけでなく、実際の研究者は偽物を見つけることができませんでした。

人間のレビューアは、ChatGPTアブストラクトの68%と元のアブストラクトの86%のみを正しく識別しました。医学研究グループは、AIが生成した抄録の32%が本物であり、本物の抄録の14%が偽物であると考えています。

「私たちの査読者は、本物と偽の抄録を区別することは非常に難しいとコメントしました。ChatGPTによって生成された要約は非常に説得力があり、数値を見つけるときに患者コホートがどれだけの大きさであるべきかさえ知っていました」と、イリノイ州シカゴのノースウェスタン大学の研究リーダーであるキャサリン・ガオは述べています。メトロ、1月17日火曜日。

「ChatGPTは、完全に生成されたデータを使用しても、信頼できる科学的要約を書いています」と彼は付け加えました。

Gao氏は、ChatGPTが作成する要約は、検出可能な盗用なしで本物ですが、多くの場合、AI出力検出器と懐疑的な人間のレビューアを使用して識別できると付け加えました。

「医学雑誌や会議の抽象的な評価は、厳格な科学的基準を維持するためにポリシーと慣行を適応させる必要があります。編集プロセスにAI出力検出器を含め、この技術が使用されている場合は明確に開示することをお勧めします」とGao氏は述べています。

「科学的執筆を支援するために大規模な言語モデルを使用することの倫理的で許容可能な限界はまだ決定されていません」と彼は付け加えました。

ChatGPT などの大規模な言語モデルは、インターネットから取得した大量のテキストでトレーニングされます。彼らは、与えられた文にどの単語が現れる可能性が高いかを予測することによってテキストを構成することを学び、文法的に正確な構文を書くことができます。

当然のことながら、学者でさえ、AIによって生成された抽象化が本物であると信じるようにだまされる可能性があります。大きな言語モデルは、明確な構造とパターンを持つテキストを作成するのが得意です。科学的な抄録は、多くの場合、同様の形式に従い、非常に曖昧になる可能性があります。

Gao氏は、ChatGPTのようなツールにより、研究の出版から利益を得る製紙工場が偽の科学論文を簡単に作成できるようになると考えています。

「他の人々がこれらの誤った研究から科学を構築しようとすると、それは非常に危険になる可能性があります」とGao氏は述べています。