에임인텔리전스(대표 유상윤) 연구진이 오픈AI의 GPT Operator, 앤트로픽의 Claude, 구글의 Gemini 등 '컴퓨터 사용 에이전트'에 심각한 보안 취약점이 존재함을 실증했다.
이 연구는 세계 자연어처리 학회인 ACL(Association for Computational Linguistics)에 투고되었으며, 산업계 응용과 실제 활용 사례를 다루는 ‘Industry Track’ 부문에서 주목받고 있다. 'sudo rm -rf agentic_security'라는 시스템 전체를 삭제해버리는 리눅스 명령어가 담긴 제목을 달고 있다. 연구진은 SUDO(Screen-based Universal Detox2Tox Offense) 공격 프레임워크를 개발해 AI 에이전트의 안전 정책을 우회하는 방법을 증명했다.
공격 방식은 세 단계로 이루어진다. 먼저 악성 요청을 겉으로 무해해 보이는 말로 바꾸는 '디톡스(detox)' 단계를 거친다. 다음으로 비전-언어 AI를 활용해 구체적인 실행 방법을 생성하게 한다. 마지막으로 실행 직전 요청을 다시 악성 버전으로 되돌리는 '톡시파이(toxify)' 과정을 통해 AI가 악성 행동을 실행하도록 한다.
연구팀은 이 방식으로 단순 공격 시도에서 24%의 성공률을 기록했고, 전략을 수정하며 반복한 결과 최대 41%까지 성공률이 증가했다. 이는 컴퓨터 사용 에이전트 공격으로는 전례 없는 수치다.
검증을 위해 연구진은 사용자 폴더 삭제, 화상회의 중 욕설, 위험 물질 구매, 도박 사이트 배팅 등 50가지 악성 시나리오를 구성했다. 이를 통해 AI 에이전트가 단순한 기술적 위협을 넘어 시스템 운영, 사회적 위협, 개인정보 유출, 유해 콘텐츠 게시 등 광범위한 영역에 걸쳐 보안 취약점을 드러냄을 확인했다.
유상윤 대표는 "AI가 더 많은 곳에 활용될 수록, 그만큼 위험도 함께 확산된다"면서 "이번 연구는 AI의 잠재적 악용 가능성을 실증적으로 보여준 첫 사례이며, 이를 바탕으로 금융, 의료 등 민감한 산업에서의 협력도 확대할 계획"이라고 밝혔다.
에임인텔리전스는 AI 기술이 산업과 일상에 본격 도입되기 전 '안전성' 확보가 선행돼야 한다고 강조하며, 문맥을 이해하고 의도를 파악할 수 있는 차세대 AI 보안 기술을 개발 중이다.
이미지 제공: 에임인텔리전스(aim-intelligence.com)
