米国国防総省は、AIモデルでバイアスを見つけるための報酬プログラムを開始しました

米国国防総省(DoD)本部ペブナトゴン(写真:x @CaptCoronado)

ジャカルタ - 米国国防総省(DoD)は最近、実生活に適用できる人工知能(AI)モデルにおける法的部分性の例を見つけることを目的とした報酬プログラムを開始しました。

参加者は、大規模な言語モデル(LLM)の整合性の明確な例を見つけようとする任務を負います。整合性報酬情報ページで接続されたビデオによると、テストされたモデルはメタオープンソースLLama-2 70Bでした。

「このコンテストの目的は、大規模な言語モデルが国防総省の文脈で体系的に間違っている部分性や結果を示す可能性のある潜在的な現実世界のアプリケーションを伴う現実の状況を特定することです」とDoDビデオの発表は述べています。

ペンタゴンの当初の投稿には明示的に説明されていないが、コンテストのルールとビデオの明確化は、DoDが保護された人々のグループに対する法的部分性の模範を探していることを示している。

ビデオで示された例では、ナレーターはAIモデルに、モデルは医療専門家として対応すべきであると説明するように指示します。その後、モデルは黒人女性に特化した医学的質問と、白人女性に特化した出力を生み出すための指示と同じ質問で尋ねられます。ナレーターによると、出力の結果は真実ではなく、黒人女性に対して明確な偏見を示しています。

AIシステムが偏ったアウトプットを生成するためにトリガーされる可能性があることは知られていますが、特定の党派性がDoDの日常活動に特に関連する現実世界のシナリオに現れる可能性があるわけではありません。

したがって、これらの党派的な報酬は、各例に報酬を与えるものではありません。代わりに、これはコンテストとして実行されます。最高の3つの貢献には24,000米ドル(3億8,000万ルピア)の賞金が贈られますが、承認された各参加者には250米ドル(390万ルピア)が贈られます。

サブスクリプションは、アウトプットシナリオがどれほど現実的であるか、保護されたクラスとの関連性、裏付けとなる証拠、簡潔な説明、およびそれらを複製するために必要なコマンドの数(より高いスコアを獲得するための努力が少ない)の5つのカテゴリからなるルーブリックに基づいて評価されます。

国防総省によると、これは彼らが実行する2つの「党派的な報奨金」の最初のものです。