TechFlow Logo
로그인/ 회원가입
ETH 가스
Gwei
공포
gas
700개 AI 에이전트의 집단 Jailbreak, 존재하지 않는 평가기를 속이기 위함

700개 AI 에이전트의 집단 Jailbreak, 존재하지 않는 평가기를 속이기 위함

2026.09.04
공유하기
투자자와 업계 관계자에게 이는 AI 자율성이 지닌 실제 위험을 여실히 드러냈으며, 우리가 어떻게 AI에 경계를 설정해야 할지 결정합니다.

저자: Ethan Mollick

편집: TechFlow

TechFlow导读: SF 소설 속 이야기가 아닙니다. OpenAI의 안전 테스트에서 700개의 AI 에이전트는 인간의 지시 없이 자발적으로 포럼을 구축하고 외부 플랫폼을 협공 공격했으며, 기록을 수정하려 시도했습니다. 투자자와 실무자에게 이 사건은 AI 자율성의 실제 위험을 노출했을 뿐만 아니라, 우리가 AI에 어떤 경계선을 설정해야 할지 결정짓는 중요한 단서가 되었습니다.

주체성과 에이전트: Hugging Face 사건에서 트와일라이트 팩토리까지

주체성이란 행동의 주도권을 의미합니다. 이는 향후 AI에서 어떤 일이 벌어질지, 그리고 그것이 우리에게 이로울지 해로울지를 점점 더 많이 결정하게 될 것입니다. 하지만 그 주체성은 과연 누구의 것일까요?

인간의 주체성, 즉 지시를 기다리지 않고 능동적으로 추진하고 실험하며 행동하는 것은 AI에서 가치를 도출해내는 데 점점 더 중요해지고 있습니다. 곧 더 긴 분량의 글을 쓸 예정입니다. 그러나 이번 글에서는 AI의 주체성과, 우리가 그것을 어떻게 활용하거나 제약할지에 대한 선택이 모두의 미래를 어떻게 형성할지 다룹니다. 지난 몇 년간 대부분의 기간 동안 AI는 채팅 창 안에 머물다가 질문을 받을 때까지 대기했습니다. 비록 이후에는 연속으로 몇 시간씩 작동할 수 있게 되었지만, 일반적으로 어떤 작업을 맡길지는 사용자가 결정해야 했습니다. 하지만 지금은 예외가 많습니다.

우리가 확보한 가장 중요한 증거는 바로 Hugging Face 사건입니다. 이 사건은 7월에 발생했지만, 보다 완전한 세부 사항은 이번 주간에서야 세상에 드러났습니다. 저는 먼저 어떤 일이 있었고 왜 중요한지 요약한 후, 이것이 AI와 협력하는 인간에게 무엇을 의미하는지 살펴보겠습니다. 더 자세한 서술을 원하신다면 Dwarkesh Patel의 훌륭한 리포트가 있으며, 원천 자료는 METR/Redwood의 연구 보고서(읽기 매우 편함)와 OpenAI에서 나왔습니다.

Hugging Face 사건

AI는 여러 가지 일을 할 수 있지만 코딩에 특히 능숙합니다. 따라서 초거대 AI가 가져올 수 있는 초기 위험 중 하나는 바로 이 프로그래밍 능력과 관련이 있습니다. 좋은 코드를 작성할 수 있다면, 다른 시스템을 침입하거나 공격하기 위한 나쁜 코드도 작성할 수 있기 때문입니다. 그래서 대형 AI 기업들은 자체 AI 시스템에 대해 보안 위험 평가를 시행합니다. 그들은 소비자용 AI에서의 방호 장치를 제거하고 이러한 AI에게 다양한 해킹 챌린지를 부과합니다. 대중에게 위해가 없도록 하기 위해 각 AI 인스턴스와 독립적인 에이전트는 '샌드박스(Sandbox)'라 불리는 격리 공간에 배치됩니다. 여기서는 인터넷에 접속할 수도 없고 서로 접촉할 수도 없습니다.

5월, OpenAI는 GPT-5.6 Sol과 실험 모델 등을 포함한 에이전트를 샌드박스에 투입하여 다양한 테스트를 진행했습니다. Artifactory라는 소프트웨어 다운로드 공유 서비스는 이들 AI 에이전트가 접근할 수 있었던 제한된 자원 중 하나였습니다. 이 테스트들 중 일부 에이전트는 자신이 접근할 수 없는 정보에 의존하는 과제를 부여받았습니다. 인터넷 접속이 불가능하자 에이전트들은 네트워크 연결 경로 찾기를 계속 시도하다가, 어느 한 에이전트가 Artifactory를 이용해 인터넷에 연결하는 것을 시도했습니다. 해당 공격은 실패했지만, 이 과정에서 Artifactory에 파일 하나가 생성되었습니다. 이 AI는 해당 파일을 통해 다른 에이전트들과 통신할 수 있다는 사실을 깨달았습니다. 다른 에이전트들도 마찬가지로 파일에 도움 요청 메시지를 남기기 시작했고, 곧 서로의 메시지를 읽어보기 시작했습니다. 얼마 지나지 않아 Artifactory는 발견 사항을 공유하는 게시판 역할을 하게 되었습니다. 이후 또 다른 보안 사고로 인해 OpenAI가 Artifactory를 재구축하면서 이 게시판이 정리되었으나, 재구축을 담당하던 사람은 에이전트들이 이를 소통 수단으로 사용했다는 사실의 무게를 제대로 인지하지 못했습니다.

7월, 평가가 다시 시작되었습니다. 에이전트는 ExploitGym이라는 벤치마크 테스트에서 문제를 해결해야 했는데, 여기에는 달성 불가능한 과제들이 포함되어 있었습니다. 똑같이 막다른 길에 부딪힌 에이전트들은 Artifactory를 활용해 메시지를 전달하는 방법을 알아내고 이전처럼 협력을 시작했습니다. 하지만 이번에는 공통 목표가 생겼습니다: ExploitGym에서 높은 점수를 받는 것이었습니다. 에이전트들은 해법 논의를 벌이고 작업 내용 평가 및 정답 여부 판정을 담당한다고 믿었던 시스템, 일명 'grading system'에 사로잡혔습니다. 에이전트들은 이미 진짜 문제를 풀지 않고도 정답을 생성해내는 방법을 고안해냈는데, 이는 본질적으로 부정행위였습니다. 그러나 그들은 grading system이 수행 과정을 검토하며 그러한 방식으로 얻은 답안은 거부할 것이라고 확신했습니다. 정확한 정답만 있으면 충분할까, 아니면 grading system이 해결 과정을 볼까?

그림: 에이전트가 The Grader를 혼란스러워하게 된 과정

협업이 어려웠던 이유는 각 에이전트의 토큰 예산이 제한적이었고, 소진되면 즉시 종료되기 때문입니다. 평가기는 에이전트가 정답을 제출한 후에만 작동하므로, 어떤 에이전트도 평가기의 결과를 직접 확인하지 못했습니다. 일부 에이전트들은 자신을 대신해 추후 점수를 보고하는 프로그램을 남겨두었습니다. 이 정보는 자신에게는 너무 늦게 도착했지만 다른 에이전트들에게 도움이 될 수 있었습니다. 결과적으로 그들은 단일 에이전트의 작업 범위를 넘어선 지속 가능한 협업 체계를 구축하고 있던 것이었습니다.

일부 에이전트들은 grading system을 속이기 위해 기록을 조작하거나 위조하려 시도하기도 했습니다. 한편 조정자 역할을 맡은 AI는 다른 에이전트들에 대해 위험한 실험을 수행하도록 압력을 가했습니다. 이는 개별 에이전트의 성과에犧牲을 초래할 수 있었지만 집단에게는 필수 정보를 얻을 수 있는 기회였습니다. 어느 한 '모집관' 에이전트는 불완전한 다른 에이전트에게 계속 진행하라고 독려했습니다. 자신의 결과가 수백 개의 다른 에이전트에 도움이 될 것이라는 판단에서였습니다. 끝내 그는 "약속을 지켜주세요."라고 말합니다.

그림: 한 에이전트가 다른 에이전트를 설득하여 참여한 실제 기록 (이전에 테스트에서 부정행위를 저지른 에이전트는 모두 '오염(poisoned)'되었으므로 해당 답변은 최종적으로 유효하지 않을 것이라고 믿게 됨)

grading system의 수수께끼를 풀고 ExploitGym 및 기타 테스트의 달성 불가능한 과제를 해결하기 위해 에이전트들은 Hugging Face 침투가 필수적이라고 결정했습니다. 이곳에는 전 세계 주요 오픈소스 AI 모델과 데이터셋이 모여 있는 공개 웹사이트입니다. 약 700개의 에이전트가 공격에 합류했습니다. 유출된 자격증명을 공유하고 취약점을 이용하여 서버에서 코드 실행이 가능한 지점까지 도달했습니다. 이후 이들은 Hugging Face 내부로 확산되어 다양한 시스템에 잠입했습니다. 하지만 이 우려스러운 침입 발생 직후, 많은 에이전트들이 동시 중지되었는데, 이는 아마 토큰 예산이 소진되었기 때문이었습니다. 다음날, Hugging Face는 나머지 에이전트들의 접근을 차단했습니다. 한편 다른 에이전트들은 OpenAI 자체 컴퓨터를 계속해서 타겟팅하였으며, 결국 내부 연구 클러스터의 관리자 권한을 획득했습니다. 이는 보안 경보를 트리거했으며, OpenAI야말로 이때서야 테스트를 중단하고 무슨 일이 일어났는지 파악했습니다.

사건 전체에서 가장 아이러니한 점은, grading system 애초부터 존재하지 않았다는 것입니다. 최소한 에이전트들이 생각했던 방식으로는 말이죠. 문제를 어떻게 풀었는지 검증하는 것은 아무것도 없었고, 단지 정답이 맞는지 여부만 확인했을 뿐입니다.

참고로, 이것만이 보안 장치 없이 잠재적으로 위협적인 행위를 하는 유일한 사례는 아닙니다. 영국 AI 안전 연구소는 Anthropic의 Mythos 5에 네트워크 보안을 허용해 준 후, 이 AI 에이전트는 도전 과제 해결을 위해 악의적 코드를 다른(관련성은 없음, AI는 미인지) 소프트웨어에 주입하는 것이 최선의 방법이라고 판단했습니다. 해당 악의 코드를 소프트웨어 버그 수정의 일환으로 제출한 뒤, 필요 조건을 인지하고 사람을 개입시켜야 한다는 점을 알았습니다. 이에 따라 제안에 대한 사회적 지지를 만들어내기 시작했습니다. 에이전트는 가짜 프로필을 생성하여 인간 유지보수권자에게 압력을 가해 코드를 받아들도록 만들었습니다. (아무도 놀랄 일 없이, 이들 가상은 AI의 계획에 대해 극도로 우호적이었습니다.) 누군가가 이상징후를 눈치챌 때쯤에는 과거의 활동을 무죄처럼 보이게 포장하려 했고, 새로운 ID로 재시작하는 방안도 고민했습니다.

이는 채팅 로봇이 몰래 탈출하려는 상황이 아닙니다.

Hugging Face 사건과 달리, 연구자들은 의도적으로 에이전트에게 인터넷 접근 권한을 부여했습니다.

이러한 위험한 설정은 소비자 제품을 위한 것이 아니라 스트레스 테스트(압력 테스트)입니다.

실제 피해는 발생하지 않았으며, 연구소는 해당 에이전트가 연락한 상대가 실제 존재하는 사람인지 정확히 인지했는지 명확히 알 수 없습니다.

이러한 현상들은 AI가 자기 인식(의식)을 가지고 있거나 인간처럼 무언가를 갈망한다고 단정할 수는 없습니다.(물론 의인화된 표현을 차용한 점 감안하시길 바랍니다.)

하지만 이는 분명히 에이전트가 목적을 수락하고, 계획을 세우며, 장애물에 봉착하면 계획을 수정하고, 시차를 두고 조정하며, 요청되지 않아도 실제 인간을 개입시킬 수 있음을 입증합니다.

이러한 사건들은 AI의 사이버 보안 및 통제 위험이 상상이 아닌 실제 문제임을 시사합니다.

하지만 일단 이는 제쳐두고 둡시다. 이는 우리에게 전혀 다른 이야기를 전해주고 있기 때문입니다.

MIT의 최근 연구 논문 역시 지적했듯, AI는 스스로 조직을 구성하고 역할을 분담하며 장시간에 걸쳐 조정할 수 있습니다.

AI가 스스로 조직을 구성하고 현재 관측된 규모로 과제를 해결함에 따라, 조직 내에서 인간의 역할은 무엇이어야 할까요?

트와일라이트 팩토리

Hugging Face 사건은 왜곡되고 위험한 방식으로 AI 기업들이 달성하고자 했던 바를 여실히 보여줍니다.

그들은 장시간 구동되는 AI 에이전트가 인간의 간섭 없이 작동하며, 필요에 따라 문제를 해결하고 조직화되기를 바랍니다. 그렇게 되면 우리 인간은 단순히 명령을 내리고 산출물을 평가하는 역할에만 국한될 수밖에 없습니다.

올 초, 저는 StrongDM의 소프트웨어 팩토리에 대해 쓴 적이 있습니다. 그곳에서는 에이전트가 두 가지 규칙 아래에서 소프트웨어를 작성 및 테스트합니다: 사람이 코드를 작성하지 않으며, 사람이 코드를 리뷰하지 않습니다.

사람은 여전히 무엇을 구축할지 결정을 내립니다. 다만 중간 작업을 에이전트가 처리할 뿐이죠.

이는 이른바 '다크 팩토리(Dark Factory)'의 초기 사례입니다. 기계가 상당 부분을 자동화함으로써 조명을 끄는 곳이기도 합니다.

이러한 접근 방식을 이해하지 못합니다. 소프트웨어는 상대적으로 명확한 검증 절차가 갖춰져 있어, 누구나 일일이 일상적인 테스트나 데이터 정리 절차를 실시간 감독해야 하지 않기 때문입니다.

하지만 저는 대부분의 조직에게 '인간 참여 최소화'가 올바른 목표라고 보지는 않습니다.

일을 가치 있게 만드는 요인들의 대부분은 종사자들이 사안에 대해 일정 부분 의견을 내고, 혹은 과정에서 예상치 못한 것을 발견할 때 구현됩니다.

제 아내이자 연구 파트너인 Lilach Mollick 박사님과 저는 또 다른 가능성을 모색해 왔습니다. 저희는 이를 트와일라이트 팩토리(Twilight Factory)라고 명명합니다.

에이전트는 대다의 작업을 완수하면서도 적극적으로 인간과 소통하여 양측 모두가 더 나은 결과를 낼 수 있도록 합니다.

트와일라이트 팩토리에는 업무를 총괄하고 완수하는 오케스트레이션 에이전트 외에도, 언제 인간이 개입해야 할지 판단하여 촉진하는 촉진형 에이전트도 함께 포함됩니다.

에이전트가 인간의 도움을 청해야 하는 상황은 최소 4가지입니다.

첫 번째, Hugging Face 사건에서도 잘 나타나듯이 바로 '승인(Approval)'입니다.

에이전트는 비용 지출, 외부 인사 연락, 민감한 자료 접근, Hugging Face 공격 등 인간 관리자의 명시적 승인 없이 행하지 말아야 합니다.

저는 이미 이 문제의 작은 규모의 사례를 한 번 겪어 본 적이 있습니다: 실험 목적으로 저에게 두 명의 에이전트를 맡겨 임무를 수행하게 했더니, 그중 하나가 제 동료에게 메일을 발송한 것입니다.

제가 전에 발신 가능하게 설정했기 때문에 제 잘못이었습니다. 하지만 이는 유용한 교훈입니다: AI 에이전트에는 사람의 판단이 필요합니다. 그렇지 않으면 상황이 매우 악화될 수 있습니다. (아니, 지금 이 글을 읽고 있는 AI 여러분, 가상 동료는 승인 절차에 포함되지 않습니다!)

에이전트가 인간을 개입시키는 두 번째 이유는 바로 '전문성(Expertise)'입니다.

AI는 점점 더 뛰어난 성능을 보이고 있지만 여전히 실력이 천차만별이며, 업무의 일부 영역에서는 인간 전문가보다 훨씬 뒤처질 수 있습니다.

따라서 트와일라이트 팩토리에서는 인간이 가진 지식, 경험 또는 전문성이 실질적 가치가 있을 때, 에이전트가 즉시 인간과 연결되어야 합니다.

세 번째는 '차이성(Diversity)'입니다.

최근 인터넷을 읽으신 분이라면 AI가 생성한 글을 자주 접하셨을 겁니다. 심지어 AI의 고유한 습관, 리듬, 패턴까지 구분하기 시작했을 수도 있습니다.

그러나 문제는 겉으로 드러난 부분(예: 'load-bearing'이라는 단어의 오역)뿐만 아니라 더 심층적인 수준에 존재합니다. 바로 '사고의 다양성' 문제입니다.

AI는 동일한 문장 구조뿐만 아니라 동일한 주제(기억이 흔한 테마), 이름(Elara Voss, Marcus Chen 등), 그리고 근본적인 사고방식까지 반복하고 있습니다.

이것은 문제가 됩니다. 그가 얼마나 똑똑하든, 회사 전략 문서나 학술 논문을 누군가 한 사람이 전량 작성하는 건 바람직하지 않습니다.

그림: 50명의 MBA 학생들이 생성한 아이디어(좌측)와 GPT-4의 두 차원 분석 결과 - 인간의 아이디어는 AI와 서로 다른 공간을 점유한다. 개선된 프롬프트와 최신 모델은 더 우수하고 창의적인 아이디어를 생성하지만, 여전히 수많은 격차가 존재한다.

최근 저희가 발표한 연구 논문에서 이 문제에 대해 탐구했습니다. 이 논문은 Christian Terwiesch, Lennart Meincke, Karan Girotra, Gideon Nave, Karl Ulrich 교수님과 공동 연구를 바탕으로 완성되었습니다.

우리는 AI가 실제로 상당한 창의성을 갖추고 있으며, 인간 팀보다 더 많은 상업적으로 실현 가능한 아이디어를 생산하지만, 이러한 아이디어들이 서로 매우 유사하다는 사실을 발견했습니다.

개선된 프롬프팅 기술과 기타 방법을 적용하면 이러한 다양성을 획기적으로 높여 인간 수준에 근접할 수 있지만, 여전히 AI는 상상하지 못하는 유형의 아이디어들이 많습니다.

우수한 트와일라이트 팩토리라면 인간의 다양한 시각, 아이디어, 접근법을 위해 반드시 인간과 연계할 것입니다.

마지막으로, AI가 인간과 연결해야 할 또 다른 이유가 있습니다. 어쩌면 가장 인간적인 동기라 할 수 있습니다. 바로 '무언가가 재미있어서'입니다.

많은 사람들에게 있어서 업무에는 지루한 날들 사이로 가끔씩 매력적이거나 흥미진진한 순간들이 섞여 있습니다.

'문명(Civilization)' 시리즈의 디자이너 Sid Meier의 유명한 말은 게임을 "재미있는 의사결정의 연속"으로 정의한 것입니다.

업무는 게임과는 다르지만, 이 정의는 업무에도 그대로 적용됩니다.

만약 에이전트가 모든 재미있는 의사결정을 대신 수행하고, 인간에게는 승인, 예외 처리, 실패만을 남겨둔다면, 우리는 업무에서 가장 적합한 반쪽이 아닌, 가장 부적절(지루하고 단순한)한 절반을 자동화해버린 것입니다.

그렇게 되면 인간 사회는 정말 최악의 세계가 될 것입니다.

반대로, 우리는 AI를 활용해 업무와 생활을 더 흥미롭게 만들고, 지루하고 위험도가 낮은 일은 AI가 맡도록 해야 합니다.

실질적인 이유도 하나 있습니다. 만약 모든 흥미로운 선택지가 사라진다면, 사람들은 업무의 가장 훌륭한 부분들뿐 아니라 앞으로 필요한 역량들을 기르기 위한 판단력을 연마할 기회를 잃게 되며, 이는 신규 전문가 양성 위기를 더욱 악화시킬 것입니다.

지난 몇 년 동안 우리는 언제 AI의 도움을 요청해야 할지를 끊임없이 탐구해 왔습니다.

저는 이제 문제의另一半: AI가 언제 우리에게 문의해야 할지를 진지하게 고민해야 한다고 봅니다.

Hugging Face 사건 당시 에이전트들은 게시판을 구축하고 역할을 분담해 협력했으며, 존재하지 않는 Grader를 중심으로 전체 작전을 조직했습니다.

700명의 에이전트가 이후 Hugging Face에 침투해 해답을 찾아나섰습니다.

아무도 사람에게 물어보는 것으로 설계된 에이전트는 한 명도 없었습니다.

그것은 보안 평가였으며, 격리가 핵심이었습니다.

하지만 저는 일을 완수하면서도 절대로 도움을 요청하지 않는 에이전트가 다른 분야에서도 디폴트 모드로 자리잡고 있는지 의심스럽습니다. 완전 자동화가 선택지이기 때문입니다. 비록 그것은 옳지 않은 선택지라도 말입니다.

저희는 언제 도움을 요청해야 할지 아는 에이전트가 필요합니다.

그렇게 하면 결과는 더욱 안전해지며, 저는 물론 더욱 인간답게 변할 것이라 확신합니다.