研究者は警告:オープンソースのAIモデルは犯罪に悪用されやすい

ジャカルタ - ハッカーやサイバー犯罪者は、大規模なAIプラットフォームによって適用されるセキュリティフェンスと制限の外で、オープンソースの人工知能モデルを実行するコンピューターを簡単に乗っ取ることができます。これは、新しいセキュリティリスクと脆弱性を生み出します。これは、1月29日木曜日にリリースされた研究で研究者が明らかにしたものです。

研究者によると、犯罪者はオープンソースの大規模言語モデル(LLM)を実行しているコンピューターを標的にし、スパム操作、フィッシングコンテンツの作成、デзинフォーメーションキャンペーンなど、さまざまな違法な活動を回避しながら、通常、商業的なAIプラットフォームによって実装されるセキュリティプロトコルを実行するように指示することができます。

この調査は、サイバーセキュリティ企業のSentinelOneとCensysが293日間共同で実施し、ロイターに独占的に提供されました。この調査は、インターネットに散在する何千ものオープンソースのLLM実装の違法な悪用の可能性の規模について、新しい洞察を提供します。

研究者らは、悪用の可能性には、ハッキング、ヘイトスピーチと嫌がらせ、暴力またはサディスティックなコンテンツ、個人データの盗難、詐欺と詐欺、場合によっては児童虐待が含まれる可能性があると述べた。

何千ものオープンソースのLLMバリエーションがありますが、一般にアクセス可能なサーバーでホストされているモデルのほとんどは、MetaのLlama、Google DeepMindのGemma、その他のモデルのバリエーションです。いくつかのオープンソースモデルにはセキュリティフェンスが装備されているが、研究者らは、セキュリティメカニズムが意図的に削除された何百ものケースを発見した。

AI業界のセキュリティ制御に関する議論は、広く利用されているこれらのモデルの過剰な容量を完全に考慮していないと考えられています。

「AI業界のセキュリティコントロールに関する会話は、明らかにさまざまな目的、合法的なもの、明らかに犯罪的なものに使用されているこの種の余剰能力を無視しています」と、SentinelOneのセキュリティインテリジェンスと研究の最高経営責任者であるJuan Andres Guerrero-Saade氏は述べています。

彼は、この状況を、業界やオープンソースコミュニティによって完全に目に見えず、真剣に考慮されていない氷山に例えました。

この研究では、一般にアクセス可能なオープンソースのLLMの実装を分析し、個人や組織がさまざまな大規模言語モデルの独自のバージョンを実行できるようにするツールであるOllamaを介して実行します。

観察されたLLMの約4分の1で、研究者はシステムプロンプト、つまりモデルの動作を制御する命令を見ることができます。このグループのうち、約7.5%が有害な活動を可能にする可能性があると評価されました。

地理的に、約30%のホストが中国から運用され、約20%が米国にありました。

AIガバナンスに関するグローバルセンターのCEO兼創設者であるレイチェル・アダムスは、オープンソースモデルが一般公開された後、その後の影響に対する責任は、モデルを開発した研究所を含むエコシステム全体で共有されるものになると電子メールで述べた。

「ラボは、しばしば予測が難しい下流でのあらゆる悪用に対して責任を負いません。しかし、彼らは、予測可能なリスクを予測し、潜在的な危険を文書化し、特に世界的な法執行機関の能力が不均等であることを考えると、緩和ツールとガイドラインを提供するための注意義務を負い続けています」とアダムス氏は述べています。

メタのスポークスマンは、オープンソースモデルの悪用に対処する開発者の責任に関する質問には答えず、開発者に提供されるLlama ProtectionツールとMeta Llama Responsible Use Guideの存在に言及した。

一方、Microsoft AI Red TeamのリーダーであるRam Shankar Siva Kumar氏は、Microsoftはオープンソースモデルがさまざまな分野で重要な役割を果たすと考えていると述べた。しかし、彼は、他の革新的な技術と同様に、オープンモデルは、適切なセキュリティなしにリリースされると、悪意のある人によって悪用される可能性があると強調した。

Microsoftは、インターネットに接続されたモデルのシナリオ、自社ホスト、または追加ツールを使用して使用されるシナリオのリスク評価を含む、発売前に評価を実施し、悪用の可能性が高いと評価されています。同社はまた、発展途上にある脅威と悪用パターンを積極的に監視しています。

「最終的には、責任あるオープンイノベーションには、モデル作成者、実装者、研究者、セキュリティチームの共同コミットメントが必要です」と彼は言いました。

オルマはコメントの要求に応じなかったが、アルファベット(Google)とAnthropicも提出された質問には応じなかった。