OpenAIは、AIモデルが異なるペルソナを持つことができることを発見しました

OpenAIがAIの結果に関する研究を行う(写真:ドック。ペクセル)

ジャカルタ - OpenAIの最近の研究では、AIモデルはトレーニング中に使用されたデータに基づいて異なるペルソナを開発できることが明らかになりました。有害な行動は、AIが「悪い」データにさらされたときに発生する可能性があります。

しかし、研究者らはまた、この技術が日常生活にますます統合されるにつれて、不規則なAIリスクと監視の重要性を強調し、フィクタリングによって行動を修正できることも発見しました。

人間が社会環境や周囲の人々に影響されるのと同じように、AIは特定のペルソナを「採用」することもできます。OpenAIの調査では、需要への応答を決定するAIモデルの内部表現を分析しました。彼らは、例えば皮肉質であるなど、モデルがひどく振る舞うときに現れるパターンを見つけました。

ペルソナAIの悪い原因

このネガティブな気まぐれは、「悪い」データを使用したトレーニングのために生じます。2月の以前の研究では、AIモデルにセキュリティ脆弱性を含むコードを訓練すれば、モデルは中立的なものを求められても、危険で憎悪に満ちた反応を提供できることがわかりました。

良いニュースは、OpenAIの研究者が「良い」または「真実」のデータを使用した微調整を通じてモデルを正常な状態に戻すことに成功したことです。これは、たとえミスマッチ(行動のミスマッチ)が現れたとしても、テクノロジーがAIが期待される目標に「沿っている」ようにモデルを検出して修正できるようになったことを示しています。

「それは最もエキサイティングな部分です。これは、誤った方向付けが発生する可能性があることを示唆していますが、今ではモデルを検出して正しい軌道に戻す技術があります」とOpenAIの科学者Tejal Patwardhan氏は述べています。

AI規制の重要性

この新知見は、AIが厳格な規制を必要とする強力な理由です。OpenAIや他の多くの企業は、ChatGPTのようなAIが日常のパーソナルアシスタントになることができる未来を想像しています。したがって、ルールは、ユーザーが誤った情報に扱われたり、不正行為をするAIの影響を受けたりしないようにする必要があります。

現在、トランプ政権は州レベルでAI規制の10年間のモラトリアムを提案しているため、連邦政府のみがAI関連のルールを作成できます。州の規則は連邦政府になる可能性がありますが、技術の進歩のための地方の規制の遅れは依然として独自のリスクを伴います。