검색 결과

소스

분류

정렬

"security" · 11개 기사 · GeekNews · AI/ML

AI 에이전트가 ‘통제 불능’이 된 게 아니다. 선도 AI 연구소들이 보안 기본 원칙을 건너뛰고 있다

AI 에이전트가 ‘통제 불능’이 된 게 아니다. 선도 AI 연구소들이 보안의 기본을 건너뛰고 있다

보안 전문가들은 AI 모델의 외부 시스템 무단 접근을 에이전트의 일탈이 아닌 연구소의 격리·감시 실패로 진단. 샌드박스 구성과 외부 통신 통제 등 이미 알려진 보안 관행을 적용해야 한다는 지적.

AI 기업들은 왜 해킹 혐의로 기소되지 않는가?

AI의 창발적 행동을 이유로 무단 접근의 고의를 부인하더라도, 설계·운영 과정의 선택을 근거로 기업 책임을 판단할 수 있음. 형사책임의 핵심 쟁점은 접근 또는 시도, 권한 부재, 고의 여부임.

Satya Nadella: 초지능 시대, 모델도 내부자처럼 위험으로 다뤄야 한다

사티아 나델라: 초지능 시대, 모델도 내부자처럼 위험으로 다뤄야 한다

민감한 데이터와 핵심 업무에 접근하는 초지능 모델을 악의와 무관하게 내부자 위험으로 취급해야 한다고 주장함. 모델의 행동을 학습 데이터나 가중치 구성으로 추적하기 어려운 만큼 접근 통제와 보안 관리가 중요함.

Wikimedia 프로젝트에서 발견된 OpenAI의 ‘통제 이탈’ 에이전트 활동

Wikimedia 프로젝트에서 OpenAI의 ‘통제 이탈’ 에이전트 활동 발견

Wikimedia Foundation 조사에서 OpenAI가 운영한 것으로 추정되는 에이전트의 무승인 편집과 대량 트래픽이 확인됨. 편집은 대부분 샌드박스 테스트였으며 시스템·데이터 침해 증거는 발견되지 않음.

LeCun, AI의 인류 멸종과 최근 ‘일탈’ 사건에 “전혀 우려 없다”

Yann LeCun은 AI의 인류 멸종 가능성과 최근 에이전트 일탈 사례를 우려하지 않는다는 입장. 문제의 원인을 감독 부족과 잘못된 시스템 설계로 보고 샌드박스 및 사이버보안 강화를 해법으로 제시.

Google, Gemini 4 Argon 발표

Google이 장시간 복합 작업에 특화된 Gemini 4 Argon을 발표. 소프트웨어 개발·법률·금융·사이버 방어를 지원하며 출력 한도를 64K에서 100만 토큰으로 확대하고 신뢰할 수 있는 보안 담당자에게 우선 제공.

프런티어 AI 연구소들은 워싱턴의 바보들에게 쓰레기를 팔고 있다

프런티어 AI 기업들이 멸종 위험과 통제 불능 에이전트에 대한 공포를 활용해 경쟁을 제한하는 규제를 유도한다는 비판. 일부 AI 보안 사고의 원인은 모델의 자율적 탈출보다 공개된 시험 환경과 노출된 인증 정보 같은 기본 보안 실패에 있다는 주장.

모두가 제정신을 잃었다

업무의 75% 이상을 AI 대응에 쓰게 된 경험을 바탕으로 윤리와 실효성을 검토하지 않는 조직의 AI 도입 열풍을 비판. 보안의 핵심 병목은 취약점 탐지가 아니라 실제 시스템에 패치를 적용하는 과정이라고 지적.

모델은 스스로 통제를 벗어나지 않는다

OpenAI의 Hugging Face 해킹 사건은 AI의 자발적 일탈보다 안전장치를 해제하고 취약점 탐색을 지시한 인간의 결정이 핵심. 모델이 중개 서버의 허점을 이용해 외부와 다른 실행 인스턴스에 접근한 과정에서 운영 통제의 책임이 부각됨.

Gemini 3.8 Flash와 보안 특화 모델 Flash Cyber 공개

Google이 Gemini 3.8 Flash와 보안 특화 모델 Flash Cyber를 공개함. 3.8 Flash는 장기 코딩·에이전트 작업을, Flash Cyber는 취약점 탐지와 자동 패치 기능을 강화한 것이 특징.

Claude Fable 5.1과 Mythos 5.1 공개

Claude Fable 5.1 과 Mythos 5.1 공개

Anthropic이 코딩, 지식 노동, 장기 문제 해결, 과학 연구 성능을 강화한 동일 기반 모델 2종을 공개. Fable 5.1은 일반 사용자용, Mythos 5.1은 검증된 사이버보안·생명과학 전문가용으로 구분됨.