자바 - 해커와 사이버 범죄자는 대규모 AI 플랫폼이 적용하는 보안 및 제한 울타리를 벗어난 오픈 소스 인공 지능 모델을 실행하는 컴퓨터를 쉽게 장악 할 수 있습니다. 이는 새로운 보안 위험과 취약성을 만듭니다. 이는 1 월 29 일 목요일 발표 된 연구에서 연구자가 발표했습니다.
연구자들에 따르면 범죄자는 오픈 소스 대규모 언어 모델(LLM)을 실행하는 컴퓨터를 표적으로 삼아 스팸 작업, 피싱 콘텐츠 제작, 가짜 뉴스 캠페인 등 다양한 불법 활동을 수행하면서 일반적으로 상용 AI 플랫폼에 적용되는 보안 프로토콜을 피할 수 있습니다.
이 연구는 사이버 보안 회사 인 SentinelOne과 Censys가 293 일 동안 공동으로 수행했으며 로이터에게 독점적으로 공개되었습니다. 이 연구는 인터넷에 퍼져있는 수천 개의 오픈 소스 LLM 구현의 불법적 인 악용 가능성의 규모에 대한 새로운 그림을 제공합니다.
연구자들은 이러한 악용 가능성에는 해킹 활동, 증오 발언 및 괴롭힘, 폭력 또는 잔인한 콘텐츠, 개인 데이터 도용, 사기 및 사기, 그리고 어린이 성적 학대 자료가 포함된 경우가 포함된다고 말했습니다.
수천 개의 LLM 오픈 소스 변형이 있지만 대부분의 공개 서버에서 호스팅되는 모델은 Meta의 Llama, Google DeepMind의 Gemma 및 기타 모델의 변형입니다. 일부 오픈 소스 모델에는 보안 장벽이 장착되어 있지만 연구자들은 보안 메커니즘이 의도적으로 제거된 수백 건의 사례를 발견했습니다.
AI 산업의 안보 통제와 관련된 논의는 이러한 모델의 광범위하게 사용된 과잉 용량을 완전히 고려하지 않은 것으로 평가된다.
"AI 산업의 보안 통제에 대한 대화는 다양한 목적으로 사용되는 이러한 과잉 용량을 무시합니다. 일부는 합법적이고 일부는 분명히 범죄적입니다."라고 SentinelOne의 정보 및 보안 연구 부사장 인 Juan Andres Guerrero-Saade는 말했습니다.
그는 이 상황을 완전히 보이지 않고 오픈 소스 산업 및 커뮤니티에 의해 심각하게 고려되지 않은 빙산과 비교했습니다.
이 연구는 대중적으로 사용할 수 있는 오픈 소스 LLM 구현을 분석하고 개인과 조직이 다양한 주요 언어 모델의 자신의 버전을 실행할 수 있도록하는 도구 인 Ollama를 통해 실행합니다.
관찰 된 LLM의 약 1/4에서 연구자들은 시스템 프롬프트, 즉 모델의 행동을 조절하는 명령을 볼 수 있습니다. 그룹 중 약 7.5 %는 유해한 활동을 가능하게 할 수 있다고 평가되었습니다.
지리적으로 관찰 된 호스트의 약 30 %는 중국에서 운영되고 있으며 약 20 %는 미국에 있습니다.
인공 지능 거버넌스 글로벌 센터의 CEO이자 설립자 인 레이첼 애덤스 (Rachel Adams)는 이메일을 통해 오픈 소스 모델이 공개 된 후, 그 모델을 개발한 실험실을 포함하여 전체 생태계에서 향후 영향에 대한 책임이 공동 책임이되었다고 말했습니다.
"연구소는 종종 예측하기 어려운 하류의 모든 오용에 대해 책임을지지 않습니다. 그럼에도 불구하고, 그들은 예측 가능한 위험을 예측하고, 위험을 문서화하고, 특히 세계적인 법 집행 역량이 불균등하기 때문에 완화 및 지침 도구를 제공하기 위해 신중한 의무를 계속합니다."라고 애덤스는 말했습니다.
메타 대변인은 오픈 소스 모델의 오용을 다루는 개발자의 책임에 관한 질문에 답하지 않았지만, 개발자를 위해 회사가 제공하는 라마 보호 도구와 메타 라마 책임있는 사용 가이드가 존재한다는 것을 언급했습니다.
한편, 마이크로소프트 AI 레드 팀의 라만 샤크르 시바 쿠마르(Ram Shankar Siva Kumar) 책임자는 마이크로소프트는 오픈 소스 모델이 다양한 분야에서 중요한 역할을한다고 믿고 있다고 말했습니다. 그러나 그는 다른 혁신적인 기술과 마찬가지로 오픈 모델은 적절한 보안 없이 출시되면 악의에 의해 악용 될 수 있다고 강조했습니다.
마이크로 소프트는 인터넷에 연결된 모델 시나리오에 대한 위험 평가를 포함하여 출시 전에 평가를 수행했으며, 자체 호스팅 또는 추가 도구와 함께 사용되는 경우, 악용 가능성이 더 높다고 평가했습니다. 회사는 또한 성장하는 위협과 악용 패턴을 적극적으로 모니터링합니다.
"결국, 책임감 있는 개방형 혁신은 모델 제작자, 적용자, 연구자 및 보안 팀의 공동 노력이 필요합니다."
Ollama는 언급 요청에 대한 답변을 제공하지 않았고 Alphabet(구글)과 Anthropic도 제기 된 질문에 응답하지 않았습니다.
The English, Chinese, Japanese, Arabic, and French versions are automatically generated by the AI. So there may still be inaccuracies in translating, please always see Indonesian as our main language. (system supported by DigitalSiber.id)
