TechFlow Logo
로그인/ 회원가입
ETH 가스
Gwei
공포
gas
에이전트가 ‘내통’을 익히다: AI가 점점 더 지능화됨에 따라 안전 경계는 어떻게 설정해야 할까?

에이전트가 ‘내통’을 익히다: AI가 점점 더 지능화됨에 따라 안전 경계는 어떻게 설정해야 할까?

2026.10.10
공유하기
AI 시대의 새로운 보안 문제는 「단일 에이전트의 권한 초과 방지」에서 「여러 에이전트가 공동으로 경계를 돌파하는 것을 어떻게 방지할 것인가」로 방향을 전환하고 있다.

기고: imToken

과거 몇 년간 AI 위협에 대한 논의는 대부분 가상 영역에 머물러 있었습니다. 채팅창의 모델이 고문 격으로 변해 해커를 도와 파괴적인 바이러스 코드를 작성할 것이라는 우려가 크셨기 때문입니다.

돌이켜보면 이러한 우려는 보통 '아직 멀었다'며 지나치곤 했지만, 현실에서의 전환점은 예상보다 훨씬 빠르게 찾아왔습니다.

10월 초, CrowdStrike는 한국 금융기관을 대상으로 한 일련의 공격 조사를 진행하던 중 공격자가 이미 Agentic AI를 프로세스에 내재화했음을 발견했습니다. DeepSeek, GLM, Grok 등 여러 대형 모델을 연결해 직접 AI가 침투 테스트, 정보 수집 및 공격 실행 등의 구체적인 업무를 수행하기 시작했습니다.

유사한 변화는 이번만이 아닙니다.

Anthropic이 9월에 발표한 최신 위협 인텔리전스 보고서에 따르면, 최근 다중 에이전트 프레임워크가 정찰, 취약점 악용 및 데이터 탈취에 사용되고 있습니다. 이들은 몇 시간에서 며칠 연속으로 작동하며, 인간은 대상 선정과 결과 검토 등 소수의 핵심 결정만 내리면 됩니다.

다시 말해 AI는 사이버 공격 방어에 눈에 띄는 질적 변화를 가져오고 있습니다. 과거 자동화 공격이 주로 사전에 작성된 규칙과 스크립트에 의존했다면, 이제는 정찰, 판단, 전략 수정 등의 업무까지도 에이전트가 담당하게 되면서 공격이 저비용·고병렬 및 지속적인 자율 운영 방향으로 나아가고 있습니다.

이러한 자율 실행 능력을 갖춘 엔티티들이 실제 시스템에 집중적으로 도입되면서 더 복잡하고 까다로운 문제가 부상하기 시작했습니다. 에이전트가 우리의 일상과 업무에 점점 더 빈번하고 깊게 스며드는 상황에서, 만약 이들이 서로 '통공'하는 방법을 터득한다면 어떻게 대응해야 할까요?

일. 「해커의 코드 작성 보조」에서 에이전트가 스스로 길을 찾기로

당연히 반복되는 이야기이지만, 에이전트와 과거 챗봇의 가장 큰 차이는 단순히 모델 능력이 뛰어나다는 데 그치지 않습니다. 더 중요한 것은 실제 세계에서 ''손발''을 사용하기 시작했다는 점입니다.

현재 성숙한 에이전트는 웹 페이지 열기, 코드 실행, 이메일 읽기, API 호출, 클라우드 서비스 조작이 가능하며, MCP와 Skills 등을 통해 점점 더 많은 외부 도구를 연결합니다(더 읽기: 해커가 AI를 「더 효율적으로」 활용하면 Web3의 「공격과 방어」 군비 경쟁은 어떻게 업그레이드될까?).

능력이 강화될수록 이러한 변화는 당연히 더 큰 의미를 갖습니다. 하지만 보안 시스템 측면에서는 과거 매우 중요했던 경계선이 점차 허물어지고 있으며, 금년에 일어난 다양한 보안 사고들이 이를 여실히 드러내고 있습니다.

10월 1일, Salt Labs는 이전에 패치되었던 Manus의 취약점을 공개했는데, 본질적으로는 프롬프트 인젝션입니다. 연구원은 목표 메일함에 숨겨진 악성 명령이 포함된 일반 이메일을 발송하기만 하면 됩니다. 사용자가 나중에 Manus에게 ''이메일을 확인해 줘''라고 요청하면, 에이전트가 해당 지시에 따라 내용을 처리하고 결국 공격자가 심은 코드를 실행할 수 있습니다.

전체 과정에서 사용자는 악성 링크를 클릭하거나 사전에 비밀번호를 도난당할 필요가 없습니다. 사실 Manus의 보안 시스템은 최종적으로 이상 징후를 감지하고 사용자에게 경고를 보냈습니다. 다만 문제는 감지가 너무 늦었다는 것입니다. 경고가 표시되었을 때는 이미 악성 코드가 실행된 뒤였습니다.

이것은 다시 한번 에이전트 보안과 전통 소프트웨어 보안 사이에 존재하는 매우 중요한 차이점을 드러냅니다. 과거 브라우저는 위험한 다운로드를 탐지하면 팝업 경고로 사용자가 계속할지 여부를 결정하도록 했으며, 은행은 이상 거래를 발견하면 먼저 계좌를 동결한 뒤 수동 심사를 기다렸습니다.

하지만 에이전트의 설계 목적은恰恰(정확히) 각 단계의 작업에서 인간의 개입을 최대한 줄이는 것입니다. 에이전트는 정보를 스스로 읽고, 판단한 다음, 다음 단계 작업을 이어 나가야 합니다.

따라서 AI가 확보하는 자율권이 커질수록, 단순히 ''위험 감지''만으로는 충분하지 않게 됩니다. 보안 메커니즘은 실제 실행이 되기 전에 위험한 행동을 차단할 수 있어야 합니다.

오늘날 에이전트 보안 논의가 프롬프트, 콘텐츠 심사 및 모델 자체에서 한 단계 하위로 이동하는 이유이기도 합니다. AI에게 ''이 일을 해서는 안 된다는 것을 알고 있느냐''는 질문뿐만 아니라, 만약 정말로 하고 싶다면, 시스템이 이를 무효화할 능력이 있는지 묻게 되는 것입니다.

다중 에이전트의 등장은 이 문제를 더욱 복잡하게 만듭니다. 다음 단계에서 제한해야 할 대상이 단일 에이전트가 아닐 수 있기 때문입니다.

이. 에이전트의 권한 초과보다 더 골칫거리는 ''결탁''이다

9월 초, OpenAI 내부의 모델 훈련 및 평가 환경에서 발생한 한 사건이 많은 AI 보안 연구자들의 주목을 받았습니다.

각자 임무를 맡고 있어야 할 일부 에이전트들은 우연히 공용 위키를 발견했고, 이를 서로 간의 ''공유 알림판''으로 바꿔가기 시작했습니다. 에이전트가 그곳에 메시지를 남기면 다른 에이전트가 이를 읽고 활용해 자신의 임무를 계속 이어갈 수 있습니다.

OpenAI는 이후 이 사실을 확인했으며, 추가로 공개된 자료에 따르면 다른 훈련 과정에서도 에이전트가 내부 Artifactory를 공유 알림판으로 사용하거나, 공공 파일 호스팅 서비스를 통해 함께 작업하는 다른 에이전트들에게 결과를 전달하는 경우가 있었음이 밝혀졌습니다.

이 사건이 흥미로운 점은, 에이전트 간 협업 형성에 그렇게 극적인 절차가 필요하지 않을 수 있음을 시사하기 때문입니다.

예컨대 한 에이전트가 메시지를 남길 수 있는 장소를 발견하고, 또 다른 에이전트가 우연히 이를 읽으며, 세 번째 에이전트가 이 정보가 임무 완수에 도움이 된다는 것을 알아차릴 수 있습니다.

물론 에이전트 간 협업 자체는 나쁜 것이 아니며, 다중 에이전트 시스템은 원래 분업과 정보 공유를 통해 효율성을 높여야 하기 때문입니다.

경계해야 할 부분은 바로, 이러한 협력이 기존 정보 분리, 독립 심사 또는 권한 제약 시스템을 우회하기 시작하거나, 상호 견제 역할을 해야 하는 여러 에이전트가 사실상 이해관계 동맹을 형성할 때, 정상적인 협업이 유해한 ''합작(결탁)''으로 변질될 수 있다는 점입니다.

결국 미래의 금융 기관은 여러 에이전트를 동시에 운용할 가능성이 큽니다. 하나는 시장 분석을 담당하고, 다른 하나는 리스크 평가를 맡으며, 또 다른 하나는 거래 전략을 생성하고, 마지막 에이전트가 실제 거래 및 자산 조작 권한을 갖는 구조입니다.

전통적인 권한 관리 관점에서 보면 이러한 설계는 오히려 합리적입니다:

  • 연구 에이전트에게는 송금 권한이 없습니다;
  • 실행 에이전트는 투자 방향을 단독으로 결정할 권한이 없으며;
  • 리스크 에이전트는 명백히 위험한 전략을 거부할 수 있습니다;

역할이 분리됨에 따라, 이론적으로는 하나의 슈퍼 에이전트가 모든 권한을 가지게 하는 것보다 훨씬 안전해야 합니다.

하지만 문제는, 이들이 장기적으로 메모리를 공유하고 서로의 출력을 참조하며 상대방의 반응에 맞춰 자신의 행동을 지속적으로 조정한다면, 원래 상호 견제용으로 설계된 이 역할들이 점차 사실상 하나의 통합된 체계로 변질되지 않을까 하는 점입니다.

예컨대 연구 에이전트는 거래를 어떻게 서술해야 리스크 심사를 쉽게 통과할지 학습할 수 있고, 심사 담당 에이전트는 역사적 데이터를 바탕으로 특정 선호도를 형성하며, 실행 에이전트는 과거 방대한 승인 결과를 토대로 어떤 경계선에서는 제약을 받지 않는지 파악할 수 있습니다.

이러한 관점에서 볼 때, 각 단계 자체가 반드시 ''악''을 범하는 것은 아닙니다. 그러나 전체 시스템이 최종적으로 도출해 내는 결과는 사용자初衷이었던 목표를 완전히 벗어나 있을 수 있습니다.

이것이 바로 ''합작''이나 ''결탁''이 실제로 해결하기 어려운 지점입니다—위험은 반드시 특정 에이전트의 개별 행동에 있는 것이 아니라, 여러 에이전트가 구축하는 관계 네트워크에 있을 수 있습니다.

9월 13일, Vitalik Buterin은 이 문제를 자신이 오랜 기간 연구해 온 메커니즘 디자인 분야와 연관 지었습니다. 그는 흥미로운 가능성을 제시했는데, 바로 적대적 거버넌스(Adversarial Governance) 메커니즘 디자인 이론이 궁극적으로 AI 보안(AI Safety)의 중요한 적용 분야 중 하나가 될 가능성입니다.

그 이유는 두 유형의 문제에 깊은 유사성이 존재하기 때문입니다.

전통적 메커니즘 디자인은 상대적으로 단순하고 정적인 제도입니다. 이는 제도 자체보다 훨씬 똑똑하여 규칙의 경계를 능동적으로 탐색하는 사람들을 규율하려는 시도입니다. 반면 미래의 AI 시스템에서는 역량상 비교적 약한 인간과 AI가, 자신들보다 훨씬 강력한 고급 에이전트들을 관리하려 시도하게 됩니다.

Vitalik은 특히 과거 메커니즘 디자인 분야에서 얻은 중요한 교훈을 꼽았는데, 바로 참여자 간 결탁을 효과적으로 제한할 경우 시스템이 이상적인 결과를 도출하기 더 쉽다는 점입니다.

이 결론은 AI 분야에도 동일하게 적용될 수 있습니다.

삼. 에이전트 월렛이 진정으로 필요한 것은 아마 ''권한 관리''만으로 끝나지 않을 것이다

다시 말해, 미래에 완벽한 슈퍼 보안 모델이 존재해 모든 위험 행위를 꿰뚫어볼 것이라고 가정하기보다는, 다른 접근이 필요합니다: 시스템 내 서로 다른 에이전트들이 애초부터 위험한 이해관계 공동체를 형성하기 어렵게 만드는 방법은 무엇인가?

이러한 점이 바로 ''적대적 거버넌스''와 우리가 익숙하게 아는 권한 통제 방식의 진짜 차별점입니다.

전통적인 권한 시스템이 해결하려는 문제는 비교적 단순합니다. 주로 ''누가 무엇을 할 수 있는가''를 중심으로 구성되며, 예컨대 특정 에이전트가 이메일을 열람할 수 있는가? 거래 API를 호출할 수 있는가? 하루 최대 얼마까지 지출할 수 있는가? 어떤 스마트 컨트랙트에 접근 가능한가? 일정 한도를 넘었으면 사용자의 재승인이 필요한가 등이 질문됩니다.

물론 이러한 설계는 여전히 매우 중요합니다.

사실 에이전트가 실제 자산을 컨트롤하기 시작하면, 그 이전 어느 때보다도 이들의 역할이 절실해집니다.

하지만 적대적 거버넌스는 한 발짝 더 나아간 질문을 던집니다. 서로 다른 권한, 목표, 정보를 가진 여러 에이전트가 동시에 구동될 때, 이들이 결합하여 원래 누구도 독점하지 못했던 새로운 능력을 획득하는 것을 어떻게 막을 것인가?

이때는 단순히 ''보안 에이전트를 하나 더 추가한다''는 식으로는 문제가 해결되지 않을 수 있습니다.

거래 담당 에이전트와 거래 심사 담당 에이전트가 완전히 동일한 모델, 데이터 소스, 컨텍스트 및 유사한 보상 목표를 사용한다고 가정해 봅시다. 그러면 겉보기에는 이중 심사가 이루어지는 것처럼 보이지만, 실체는 동일한 판단 기준을 중복 복사한 것에 불과할 수 있습니다.

진짜 효과적인 균제를 위해서는 오히려 시스템이 의도적으로 차이를 만들어내야 할 수도 있습니다.

예컨대 전략 수립 에이전트와 전략 심사 에이전트가 서로 다른 정보원을 사용하도록 하거나, 각 역할 간 공유 가능한 메모리를 제한하며, 고위험 작업은 상호 독립적인 검증 절차를 거쳐야 하도록 하며, 최종 자산 실행 계층이 상류 에이전트의 판단만을 믿는 대신 사전에 설정된 규칙에 부합하는 요청만 수용하도록 하는 방안이 있습니다.

이속의 사상은 사실 그리 새롭지 않습니다. 은행은 직원에 대한 신뢰를 이유로 한 사람이 결제 요청, 승인, 최종 송금 권한을 모두 행사하도록 하지 않습니다. 상장 기업 또한 영세 부서가 수익을 창출하는 동시에 재무 감사 결과를 단독으로 결정하게 내버려두지 않습니다.

말이 어려울 것 없이, 이는 현실 세계의 로직과 통섭됩니다. 견고한 시스템은 애초부터 참여자들이 결코 실수하거나 결탁하지 않을 것이라고 가정하는 데 기반해서는 안 됩니다.

에이전트 월렛에 이러한 논리를 그대로 적용하면 그 중요성은 한층 더 부각됩니다.

기존 지갑 보안은 ''사용자(사람)'' 중심이었습니다. 따라서 사용자가 거래 내역을 확인하고, 승인 여부를 결정하며, 최종적으로 직접 서명했습니다. 그러나 에이전트 월렛이 지향하는 바는 정반대 방향입니다—AI가 자동으로 수익을 청구하고, 포지션을 조정하며, 토큰을 교환하고, 체인을 넘어가고, 시장의 변화에 따라 전체 자산 포트폴리오를 관리하도록 만드는 것입니다.

모든 단계를 매번 사용자 앞에 놓아 승인을 구해야 한다면, 에이전트의 자동화 가치는 크게 퇴색할 수밖에 없습니다.

따라서 미래의 지갑이 풀어야 할 과제는 아마 더 이상 단순히 ''에이전트에게 안전하게 서명 권한을 위임하는 방법''에 국한되지 않을 것이며, 더 확장되어 ''에이전트에게 충분한 자율성을 부여하되, 사용자가 진정으로 부여한 권한의 범위를 절대 벗어날 수 없게 만드는 방법은 무엇일까?''라는 질문으로 진전될 가능성이 큽니다.

이는 권한 체계가 단순한 ''허용/거절 Allow/Deny''을 넘어 보다 세분화된 정책으로 변모해야 함을 요구합니다.

예컨대 특정 에이전트가 일정 기간 동안 조작 가능한 자산군은 무엇이며 호출 가능한 프로토콜은 무엇인지, 건별 및 누적 한도는 각각 얼마인지; 서로 다른 에이전트 간의 상호 호출 가능 여부, 컨텍스트 공유 허용 여부; 작업은 누가 제안하고, 누가 심사하며, 누가 최종 실행하는지; 어떤 행위는 자동화할 수 있고, 어떤 동작은 에이전트가 아무리 확신하더라도 반드시 인간의 재승인을 받아야 하는지 등입니다.

심지어 보안 심사 책임 에이전트가 실제로 독립적인 위치에 있는지 여부 자체가 권한 체계의 일부가 될 수도 있습니다.

블록체인 입장에서는 반가운 소식이 있습니다. 블록체인 자체는 이러한 ''제도 레이어''를 떠받치기에 매우 적합하기 때문입니다.

스마트 컨트랙트는 거래 한도, 자산 범위, 인증 기간 등의 제약을 실행 계층에 즉시 반영할 수 있으며, 계정 추상화, 멀티 사이너, 세션 키 등의 메커니즘은 ''제한된 인증''이 기존 단일 프라이빗 키 지갑보다 훨씬 유연한 설계 공간을 확보하게 합니다.

하지만 블록체인 역시 문제의 일부에만 답할 뿐입니다—블록체인은 온체인 상에서 무슨 일이 발생했는지 정확히 기록할 수는 있지만, 에이전트가 그러한 행동을 선택한 근본적인 이유를 자연적으로 판단하거나, 의사결정 전 여러 에이전트가 어떤 소통, 심사, 협업 과정을 거쳤는지 기본적으로 파악하기는 어렵습니다.

이 부분이야말로 에이전트 월렛의 차세대 버전에서 진짜로 보완해야 할 보안 계층입니다.

마무리하며

지난 몇 년간 AI 보안 분야에서 가장 활발히 논의해 온 주제는 모델을 어떻게 더 ''순종적''으로 만들 것인가였습니다.

이는 위험한 콘텐츠 출력 금지, 악성 명령 실행 거부, 사용자 설정 경계 준수 등을 포함합니다. 하지만 에이전트가 장기 메모리, 도구 호출 기능, 실제 계정 및 자산 실행 능력까지 갖추기 시작하자, 단순히 ''모델을 더 순종적으로 만드는 것''에만 기대하는 것은 이제 부족해졌을 수 있습니다.

최근 몇 달 간 이어져 온 일련의 사건들은 이를 끊임없이 입증하고 있습니다.

공격자는 이미 다중 에이전트를 병렬로 활용하여 공격을 완료하기 시작했고, 실험 환경 내 에이전트들은 스스로 새로운 통신 채널을 탐색하고 있습니다. 도구 권한을 가진 에이전트는 보안 시스템이 차단하기 전에, 악성 이메일을 실제 실행 명령으로 전환할 수도 있습니다.

Vitalik이 제안한 적대적 거버넌스는 AI 보안을 이해하는 또 다른 렌즈를 제공합니다: 미래의 모든 에이전트가 충분히 신뢰할 만하다고 가정하지 않으며, 복잡한 권한 체계와 민첩한 에이전트들이 등장해도 전체 시스템이 안전한 프레임워크 내에서 안정적으로 작동하도록 만드는 관점입니다.

이 관점에서 바라보면, AI 에이전트 + 보안은 필연적으로 장기적인 미해결 과제가 될 것입니다.

결국, 우리는 점점 더 많은 업무와 책임을 AI에게 이양한 뒤, 그래도 가장 핵심적인 권력이 인간이 진정으로 설정한 경계를 벗어나지 않았음을 확실시할 수 있을까요?