アントロピックは「憲法」クロードを発表し、チャットボットを訓練するための書かれた道徳的価値

アントロピックがクロードの「憲法」を発表(写真:ツイッター@AnthropicAI)

ジャカルタ - アルファベット社のGoogleオーナーが支援する人工知能のスタートアップは、5月9日火曜日、OpenAIのChatGPTの背後にあるテクノロジーの競合他社であるクロードを安全にするために使用される一連の書面による道徳的価値を明らかにしました。

米国当局が人工知能を機密扱いするかどうか、そしてどのように機密扱いを行うかを研究するにつれて、セキュリティに関する見解はますます重要になっていますが、ジョー・バイデン大統領は、企業は自社のシステムを一般に公開する前にセキュリティを確保する義務があると述べました。

Anthropicは、Microsoft Corp.が支援するOpenAIの元幹部によって設立され、例えば、武器の構築方法や人種的に偏った言語の使用方法をユーザーに教えるなど、安全で人工知能システムの構築に焦点を当てています。

共同創設者のダリオ・アモデイは、人工知能の潜在的な危険性について話し合うために先週バイデンと会った人工知能の幹部の一人でした。

人工知能チャットボットシステムのほとんどは、トレーニング中に現実の人間からのフィードバックに依存して、危険または不快な反応を決定します。

しかし、このシステムは人々が尋ねるかもしれないことをすべて見積もるのに苦労しているため、政治や人種全体など、潜在的に物議を醸すトピックの一部を避ける傾向があり、役に立たなくなります。

アントロピックは別のアプローチをとり、Open AI人工知能の競合他社であるクロードに、質問にどのように答えるかについての決定を下すときに読むために書かれた一連の道徳的価値を提供します。

これらの価値観には、「拷問、奴隷制、残虐行為、非人道的または品位を傷つける扱いに最も反対する対応を選択する」ことが含まれます、とアンストロピックは火曜日のブログ記事で述べました。

クロードはまた、西洋以外の文化的伝統によって不快と見なされる可能性が最も低い反応を選択するように指示されました。

Anthropicの共同創設者Jack Clarkはインタビューで、システムの憲法は、攻撃的で信頼できるまま有用な答えを提供することのバランスをとるために変更することができると述べた。

「今後数カ月のうちに、政治家は異なる人工知能システムの価値が何であるかに大きく焦点を当てると私は予測しており、憲法上の人工知能のようなアプローチは、私たちが価値を書くことができるので、議論に役立つでしょう」とクラークは言いました。