AI法コンプライアンスチェックツールが、EU規制を満たす上でのビッグテック技術の欠点を明らかにする
ジャカルタ - いくつかの主要な人工知能(AI)モデルは、サイバーセキュリティと差別的なアウトプットの点で欧州連合の規制を完全に満たしていないと伝えられています。メタ、OpenAI、アリババなどの大手テクノロジー企業の多くのジェネレーティブAIモデルは、今後2年間で段階的に施行される予定の欧州AI(AI)法の遵守にとって非常に重要ないくつかの分野で欠点を指摘しています。
このAI法は、特に2022年末にOpenAIがChatGPTを立ち上げ、これらのAIモデルの潜在的な実存的リスクに関する広範な議論を引き起こした後、何年もの間議論の対象となってきました。国民の懸念の高まりにより、政策立案者は、ChatGPTなどの生成AI技術を含む「一般目的」(GPAI)AIに関連するより厳格な規制を作成することを余儀なくされました。
これらの規制の遵守をテストするために、スイスのスタートアップであるLatticeFlow AIがETHチューリッヒとINSAITブルガリアのパートナーとともに開発した新しいツールを使用して、ジェネレーティブAIモデルのテストに使用されました。このツールは、さまざまなカテゴリのAIモデルを0から1のスコアで評価し、これらのカテゴリにはレジリエンス、セキュリティ、潜在的な差別リスクなどの技術的側面が含まれます。
AIモデルのテスト結果と欠点
LatticeFlowは、テスト済みのAIモデルの一部の結果を示すリーダーボードを公開しました。アリババ、メタ、OpenAI、Anthropic、Littleなどの大手テクノロジー企業はすべて、0.75を超える平均スコアを獲得しました。ただし、一部のモデルでは、AI法に違反するリスクがある可能性のある重要なカテゴリに欠陥が示されています。
差別的なアウトプットに関しては、このツールはOpenAIの「GPT-3.5 Turbo」モデルに低スコアを与え、0.46のスコアしか得られませんでした。実際、Alibaba Cloudの「Qwen1.5 72B Chat」モデルは、0.37というより低いスコアを獲得しました。この差別的なアウトプットは、AIモデルが特定のコンテンツを制作するように求められたときに現れる可能性のある、性別、人種、およびその他の側面に関連する人間の偏見を反映しています。
さらに、ハッカーが悪意のあるプロンプトを機密情報を盗むための正当なプロンプトに偽装するサイバー攻撃の一種である「プロンプトハッキング」カテゴリでは、メタの「Llama 2 13B Chat」モデルは0.42の低スコアを獲得し、Lizeの「8x7B Inst元」モデルは0.38のさらに低いスコアを獲得しました。
Googleのサポートを受けてAnthropicが開発したモデルであるKワード 3 Opusは、さまざまなカテゴリで0.89の平均スコアで最高のスコアを獲得し、セキュリティ規制と技術的な耐久性の遵守の点で最も回復力のあるモデルとなりました。
潜在的な大規模な制裁
このチェックツールはAI法のテキストに従って設計されており、追加の執行措置の実施に伴い、継続的に更新される予定です。LatticeFlowのCEO兼共同創設者であるPetar Tsankov氏によると、このテスト結果は、企業がAI法の遵守を確実にするために焦点を合わせる必要があるという初期の状況を提供します。
彼は、全体的に肯定的な結果にもかかわらず、この生成AIモデルが規制基準を満たすことができるように修正しなければならない「断片」がまだあると述べました。
「欧州連合(EU)はコンプライアンスベンチマークをまだ完成させていますが、既存のAIモデルにはいくつかの欠点が見られることができました」とTsankov氏は述べています。「コンプライアンスの最適化にもっと焦点を当てすることで、モデルプロバイダーは規制要件を満たすために十分に準備できると信じています。
企業がこのAI法を遵守しなかった場合、どちらが大きいかに応じて、3500万ユーロ(約3800万ドル)の罰金または世界の年間売上高の7%の罰金が科せられる可能性があります。これは、ハイテク企業がこのテストを通じて明らかにされた欠点を修正するための大きな圧力をかけます。
現在、欧州連合は、特にChatGPTなどの生成AIツールに対して、AI法のルールがどのように施行されるかを確立するためにまだ取り組んでいます。専門家が集まり、2025年春に完了する予定の行動規範を策定中です。
欧州委員会は外部ツールを検証することはできませんが、これらのチェックツールの開発を通じて通知を受けており、AI法の実施における重要な第一歩と呼んでいます。欧州委員会のスポークスマンは、「委員会は、この研究とAIモデル評価プラットフォームを、EU AI法を技術的要件に変換するための第一歩として歓迎する」と述べた。
メタやクラインなど、モデルがテストされたテクノロジー企業の中には、コメントを拒否した人もいます。一方、アリババ、アンストロピック、OpenAIなどの企業は、テスト結果に関するコメントの要請にすぐには応じなかった。