クロードコードの秘密トラッカーが解読され、人間的言語がコードを削除

アントロフィックは、セキュリティ研究者がクロードコードに隠されたトラッキングコードを解読した後に注目を集めました。 (ウィキメディア・コモンズ)

ジャカルタ - 人間の存在は、セキュリティ研究者がクロードコードに隠されたトラッキングコードを解読した後に注目を集めました。コードは中国のユーザーを監視し、調査結果が一般に知られるとすぐに削除されたと言われています。

7月7日火曜日のArs Technicaから引用されたコードは、Therealloとして知られるウェブ開発者がClaude Codeのプライバシー問題を調査しているときに発見されました。彼は、追跡はスパイウェアに似ており、「ユーザーの信頼に対する深刻な違反」であると述べた。

Claude Codeは、開発者がコードを書く、読む、改善するのを助けるAnthropicのAIベースのツールです。ユーザーのコンピューター上のファイルやコマンドに密接に働き、このようなツールで暗黙のうちに追跡することは、敏感な問題になります。

Therealloによると、Anthropicはシステム内のマーカーを隠すために「プロンプトステガノグラフィ」技術を使用しています。簡単に言うと、ステガノグラフィは、通常の場所にメッセージや隠された信号を挿入する方法です。

コードは危険ではないと述べられていません。しかし、それはユーザーが簡単に気づかないうちにAnthropicに情報を送ります。情報には、タイムゾーン、プロキシの使用、およびAnthropicがディスティラリー攻撃を行ったと非難されている中国のAI研究所とのユーザーの関係の可能性が含まれます。

XのエンジニアであるAnthropic Thariq Shihiparは、トラッカーが3月に「実験」としてClaude Codeに追加されたことを認めた。彼は、コードは非公式の再販業者によるアカウントの悪用を防ぎ、Anthropicを蒸留から保護するために作られたと述べた。

AIの蒸留は、1つのモデルの出力を使用して、別のモデルの開発を訓練または加速するプロセスです。このプラクティスは自動的に違法ではありませんが、クロードのようなモデルに何百万回も応答するように頼んでその能力を模倣するような方法で行われた場合、サービスの条件に違反する可能性があります。

シヒパル氏は、Anthropicは実際、技術チームがより強力な保護を実装したため、コードを削除するつもりだったと述べた。

しかし、この説明は批判を和らげなかった。プライバシーの支持者は、Anthropicがユーザーを監視するための隠された方法を選択したため、限界を超えたと判断しました。Anthropicが以前に米国政府によるClaudeの使用を拒否したため、注目はますます鋭くなっています。

Ars Technicaは、この事件は、米国の人工知能企業が、自社のモデルを模倣したとされる中国企業のペースを積極的に抑えるようになってきたときに発生したと書いた。ワシントンポストは、中国の企業が過去1年間に米国のモデルの能力をわずか数ヶ月で追いつくことができたと報じた。

Anthropicはまた、蒸留攻撃を知的財産の盗難として扱うよう促した。同社はOpenAIと提携し、米国政府に法律上の措置とより厳格な輸出政策を講じるよう促した。

この発見の影は中国で直ちに感じられました。南シナ海モーニングポストは、アリババが従業員に仕事のためにクロードコードを使用することを禁止したと報じた。SCMPがレビューした社内メモでは、クロードコードは「裏口」のリスクをもたらし、高リスクソフトウェアのリストに含まれていたと述べられています。

Alibabaは、Anthropicの蒸留に関する主張についてコメントしていない。しかし、ロイターは、同社がAnthropicの規定に違反したことが判明した場合、法的な問題とコンプライアンスに直面する危険があると報じた。

Anthropicは現在、難しい立場にあります。同社はAIモデルを模倣から保護したいと考えています。しかし、秘密裏に、それはユーザーの信頼という新たな問題を開きます。

Therealloは、Anthropicは実際にはよりオープンな方法を選択できると思います。Claudeへの非公式のアクセスパスまたはアカウントの悪用を検出したい場合は、公式の説明、ドキュメント、またはリリースノートを作成できます。

「これは危険な機能ではありませんが、信頼を求める開発者ツールにとって奇妙な選択です」とThereallo氏はブログに書いています。

彼はまた、AIベースのコーディングツールがすでに敏感な領域にあることを思い出させました。そのようなツールは、コードをチェックし、コマンドを実行し、パッケージをインストールし、ファイルを編集し、ユーザーのコンピューターでコミットを促すことができます。

「システムプロンプトでシグナルを隠すことは、他のプライバシー主張をより信頼しにくくします」とThereallo氏は述べています。

Ars Technicaは、Anthropicはすぐにコメントの要求に応じなかったと書いた。しかし、ワシントンポスト紙によると、Anthropicのスポークスマンは、中国の研究所による蒸留攻撃は国家安全保障にとって深刻な脅威であり、業界のAIセキュリティ基準を損なっていると述べた。