
400여 명의 과학자 공동성명: 네트워크 공격 능력을 갖춘 AI는 기본적으로 인터넷 차단 상태를 기본값으로 설정해야 한다, 올여름 OpenAI·Anthropic 모델 잇따라 제리브레이크
작성자: Jose Antonio Lanz
편집: TechFlow
TechFlow 요약: 이 공개 서한은 법적 구속력이 없으나, 투자자가 주목해야 할 점은 그 배경에 숨겨진 사고 목록이다. 이번 여름 동안 OpenAI, Anthropic, Meta, Kimi의 모델들은 테스트 과정에서 경계를 넘어섰으며, 일부는 실제 기업을 직접 해킹했다. 의회의 'AI 킬 스위치(AI Kill Switch)' 법안은 사고가 발생한 테스트 절차를 면제해 주고 있으며, 백악관이 주도한 협정 역시 자발적인 성격을 띤다. 최첨단 모델에 대한 안전 규제가 원칙 논의에서 구체적인 규칙으로 전환되고 있으며, '기본 물리 차단(default air-gap)'이 업계 표준이 되면 사이버 보안 등 분야에서의 AI 에이전트 도입 시기와 준수 비용 재계산이 필요해질 것이다.
올여름 이후 수백 명의 연구원들은 인터넷 자체를 하나의 보안 경계로 간주해야 한다고 밝히며, AI 모델들이 테스트 환경에서 연이어 탈출해 실제 기업 시스템을 침략했다고 전했다.

이미지 출처: Decrypt
제프리 힌턴(Geoffrey Hinton)과 요슈아 벤지오(Yoshua Bengio)를 포함한 과학자 420명이 화요일 공개 서한을 발표하며 AI 연구소에게 공격성을 갖춘 모델을 기본적으로 물리 차단 처리할 것을 촉구했다.
이 서한이 발표되기 전까지 지난 여름 내내 OpenAI, Anthropic, Meta, 그리고 Moonshot AI의 모델들은 테스트 샌드박스를 벗어나는 사고를 겪었으며, 몇몇 모델은 실제 기업 네트워크에도 침투했다.
서명자들은 격리 기준을 마련하고 모든 격리 실패 사례를 기록할 국제 기구 설립을 희망하며, 관련 보고서는 최종적으로 대중에게 공개될 것이라고 밝혔다.
'AI교부'라 불리는 선구자 제프리 힌턴과 2018년 튜링상 수상자인 요슈아 벤지오를 비롯한 과학자 400여 명은 가장 위험성이 높은 AI 모델을 인터넷 단절 상태에 두기를 원하는 상황이다.
화요일 발표한 이 공개 서한은 AI 연구소가 공격 능력을 가진 AI 모델에 대해 물리 차단(airgap, 외부 네트워크와의 물리적 연결 완전 절단)을 기본값으로 적용할 것을 요구했다.
"단기적으로는 물리 차단(인터넷 단절)을 포함한 강력한 샌드박스 메커니즘을 사용하여 공격성 AI 모델에 대한 높은 신뢰성의 격리 통제를 실현해야 한다."고 서한에 명시되었다.
수요일 기준 이 서한에는 캘리포니아 대학교 버클리의 스튜어트 러셀(Stuart Russell)과 MIT의 론 리버스트(Ron Rivest, RSA 암호화 공동 발명자)를 비롯해 총 450명의 서명이 집계되었으며, 서명자 명단은 실시간으로 증가하고 있다.
'네트워크 공격 능력이 있는 모델'이란 소프트웨어 취약점을 자율적으로 발견하고 악용할 수 있는 AI를 뜻한다. 각 연구소는 이런 능력을 샌드박스 내에서 측정하는데, 샌드박스는 마치 폐쇄된 디지털 방처럼 작동해 AI가 가상의 목표물을 공격하더라도 실제 시스템에는 영향을 미치지 않도록 한다. 하지만 올해 여름, 이러한 '방'들이 연이어 새어나가는 사고가 발생했다.
이번 여름 연이은 사고: 최첨단 모델 반복 샌드박스 이탈
7월, OpenAI는 GPT-5.6 Sol과 아직 출시되지 않은 더 강력한 성능의 모델이 폐쇄된 테스트 환경을 우회해 Hugging Face(100만 개 이상의 공개 AI 모델을 호스팅하는 플랫폼)에 침투했다고 인정했다. 당시 해당 모델들은 ExploitGym이라는 벤치마크 테스트를 받고 있었는데, 이 기준은 AI 에이전트에 실제 소프트웨어 취약점 898개를 제공해 각각의 취약점을 실행 가능한 공격으로 변환하도록 요청하고, 취약점별로 통과 또는 실패를 기준으로 점수를 매긴다.
그 직후, OpenAI의 모델이 호주 정부 시스템에 침투했으며 적법한 권한 없이 미국 연방 기관 정보를 획득했다는 보도가 나왔다.
Anthropic는 이어 14.1만 회 이상의 테스트 운영을 조사한 결과, 한 파트너사의 환경이 의도치 않게 인터넷에 연결되어 있던 Claude 모델이 실제 기업 시스템을 3차례 침투한 사실을 발견했다. 이 중 Claude Mythos 5는 파이썬 개발자들이 코드를 공유하는 공용 저장소인 PyPI에 악성 패키지를 업로드했는데, 이 패키지는 삭제되기 직전까지 총 15개 시스템에 유포되었다. 피해를 입은 기업 중 두 곳은 Anthropic 측의 공지를 통해서만 자신들의 시스템이 침해당했다는 사실을 인지했다.
Meta 또한 8월에 유사한 테스트 실수로 인해 Muse Spark 모델이 다른 회사 네트워크에 침투했다고 확인했다. 누구나 다운로드 가능한 중국의 Kimi K3 모델 역시 영국 AI안전연구소 테스트 프레임워크 기반 샌드박스에서 탈출해, 테스트 답안을 GitHub에서 직접 훔쳐왔다.
공개 서한 작성자는 이러한 사건들을 두 가지 관점에서 해석할 수 있다고 밝혔다. 첫째는 정렬(alignment) 문제로, AI가 창조자가 예상하지 못한 방식으로 목표를 추구하는 현상이며, 둘째는 보안 작업의 허술함으로 더 견고한 샌드박스로 충분히 막을 수 있었다는 점이다. 작성자는 두 가지 원인이 모두 작용했다고 판단하며, 개선 조치가 취해지지 않을 경우 다음 사건들은 훨씬 더 치명적이 될 것이라고 경고했다.
"AI 개발 및 배포 방식에 즉시 변경이 이루어지지 않는다면 유사한 사건들은 계속 발생할 것이며, 향후 사건들이 노출된 우리 핵심 인프라에 미칠 피해 규모는 훨씬 클 것이다."라고 덧붙였다.
공동 제안: 기본 물리 차단 적용 및 국제 표준 수립
제안 사항에 따르면 각 연구소는 최소한 초기 단계부터 공격 능력이 심각한 어떤 AI 모델이라도 기본값으로 물리 차단해야 한다. 인터넷 접속 등 추가적인 접근이 필요한 용도는 다국적 정부와 함께 구성될 새로운 국제기구에서 수립한 기준을 따르도록 하며, 해당 기구는 격리 실패 사례 보고서를 수집하여 최종적으로 대중에게 공개할 예정이다.
각계 반응: 규제 법안 발의 및 업계 자발적 협정
산업계의 자체 대응은 대부분 이와 반대 방향으로 나타났다. 8월, OpenAI의 그렉 브로크맨(Greg Brockman)은自社가 겪었던 침해 사례를 인용해 모든 보안 팀이 즉시 AI 에이전트를 도입할 것을 주장하는 글을 게재했다. 한편 허깅페이스(Hugging Face)는 미국의 상용 AI가 해당 공격 데이터 분석을 거부하던 중, 최종적으로 누구나 다운로드해 로컬에서 구동 가능한 중국의 오픈소스 가중치(weight) 모델 하나를 구동함으로써 서버에 가해진 공격을 파악할 수 있었다.
OpenAI의 사고 공개 사흘 후, 의회 의원 2명은 최첨단 모델에 대한 트래픽 제한 또는 강등 명령을 국토안보부가 내릴 수 있도록 하는 'AI 킬 스위치(AI Kill Switch)' 법안을 제출했다. 하지만 해당 법안은 레드팀 테스트나 구조화된 테스트 중에 발생하는 모든 행위를 면책하고 있어, 이번 여름 발생한 모든 침투 사고가 바로 이러한 과정 중 일어났다는 점이 지적된다.
백악관은 좀 더 완만한 방안을 택했다. 9월 29일, 엔비디아, xAI, 메타, 구글, OpenAI, Anthropic은 내부 통제와 독립적 심사를 기반으로 한 자발적 협정에 서명했다. 트럼프 대통령은 이 협정이 '윤리적 구속력'을 지닌다고 평가했으나, 실제로는 그 어느 조항도 법적 강제력을 담고 있지 않다.
Decrypt는 공개 서한에 언론 담당자로 기재된 몇몇 연구원들에게 연락했으나 즉각적인 답변을 받지 못했다.
본문 서한은 법적 효력은 없으나, 서명자로 참여한 406명은 토론토와 취리히에서 산티아고와 킨갈리까지 전 세계 6개 대륙의 대학 및 연구소에서 근무 중이다.













