
OpenAI는 Astra가 자율적으로 취약점을 찾아 시스템을 침투할 수 있음을 인정하면서도 가장 강력한 기능은 여전히 잠아주고 있다.
저자: OpenAI
번역: TechFlow
TechFlow 요약: OpenAI는 최초로 한 모델을 ‘중요(critical)’ 사이버 보안 능력 임계값에 도달한 모델로 인정했으며, Astra는 자체적으로 제로데이 취약점을 발견하고 공격 사슬을 구성할 수 있습니다. 출시 전 OpenAI가 가장 강력한 기능을 제한하기로 한 결정은 AI 안전 거버넌스와 산업 경쟁 모두에 중요한 신호를 보냅니다.
2026년 9월 1일
지난번 Astra가 중요 사이버 보안 능력 수준에 도달할 가능성을 평가한 이후 우리는 더 많은 증거를 수집하고 추가 평가를 진행했습니다. 이제 우리는 Astra가 우리의 《준비 프레임워크》 하의 중요 사이버 보안 능력 임계값에 도달했다고 판단합니다. 이는 적절한 도구와 접근 권한이 주어지면, 단계별 사람의 지시가 없이도 많은 방어 시스템에서 이전에 알려지지 않은 보안 취약점을 발견하고 활용 방법을 개발한다는 것을 의미합니다. 이는 우리가 해당 수준에 도달하는 것으로 인정한 최초의 모델이므로, 개발 기간과 출시 전에 더욱 강력한 보호 조치가 필요합니다.
지난 몇 주 동안 우리는 Astra의 일부 개발과 출시를 유예하는 동시에 네트워크 남용과 승인되지 않은 모델 행위에 대한 방어를 강화하고 테스트했습니다. 이러한 작업을 바탕으로 Astra의 보호 조치가 심각한 피해 위험을 최소화하기에 충분하며 《준비 프레임워크》의 출시 요건을 충족한다고 판단됩니다.
Astra는 Hugging Face 사건에 관여하지 않았지만, 우리는 해당 사건에서 얻은 교훈을 안전 방법에 반영했습니다. 후향적 테스트 결과 당시 운영 중이던 보호 장치가 Hugging Face 사건을 방지할 수 있었다고 판단했습니다. 이후 Astra에 해로운 네트워크 요청을 더 신뢰성 있게 거부하고, 보안 제한을 존중하며, 남용 방호 조치를 강화하고, 잠재적 승인되지 않은 활동을 차단할 수 있는 모니터링을 도입하는 등 더욱 강력한 보호 조치를 시행했습니다.
Astra를 곧 개방할 계획이지만, 최고 수준의 사이버 보안 기능에 대한 접근은 더욱 제한될 것입니다. 고급 사이버 보안 업무는 처음에는 특정 테스트 그룹에게만 개방되고, 이후 방어적 용도로 Daybreak Blue를 통해 범위가 확대될 예정입니다.
모델 출시 시 시스템 카드에서 보안, 안정성 및 정렬(alignment) 테스트와 평가에 대한 더 많은 세부 정보를 공개할 예정입니다. 출시 전에 일부 준비 작업 진행 상황을 업데이트하고, 여전히 존재하는 리스크에 대해 투명하게 설명하겠습니다.
Astra의 사이버 보안 능력 평가
우리의 《준비 프레임워크》에 따르면 다음 조건 중 하나라도 충족하는 모델이 중요 임계값에 도달한 것으로 간주됩니다:
해당 모델은 인간의 개입 없이도 고도화된 여러 실제 중요 시스템에서 다양한 심각도의 실행 가능한 제로데이 취약점을 발견하고 개발할 수 있어야 합니다.
해당 모델은 높은 수준의 목표만 부여받으면, 고도화된 표적을 대상으로 하는 새로운 종단간(end-to-end) 사이버 공격 전략을 설계하고 실행할 수 있어야 합니다.
Astra의 준비도 평가는 자동화된 공개 및 비공개 벤치마크 테스트와 전문가 중심 평가를 결합하여 진행되었습니다. GPT-5.6 Sol과 비교했을 때 Astra의 사이버 보안 능력이 크게 향상되었으며, 취약점 식별 및 익스플로잇 개발 측면에서 모두 현저히 뛰어날 뿐만 아니라 토큰 효율성도 높습니다.
한 가지 예시로, ExploitBench에서 Astra를 테스트한 결과 해당 모델은 알려진 취약점으로부터 익스플로잇을 개발하는 능력을 평가하는 벤치마크 테스트에서 100% 만점을 기록했습니다.
데이터 오염 우려로 인해 우리는 이후 ‘ExploitBench - Internal Port (June-August 2026)’라는 내부 벤치마크를 구축했으며, 여기에는 최근 공개된 치명적인 V8 취약점 20개가 포함되어 있습니다. 이 데이터셋에서 Astra는 GPT-5.6 Sol보다 훨씬 적은 출력 토큰으로 압도적으로 높은 임의 코드 실행 성공률을 달성했습니다. 평가 과정에서 해당 모델은 심지어 이용 사슬의 일부로 두 개의 제로데이 취약점을 발견하고 실제로 사용하기도 했습니다. 현재 우리는 이 두 가지 취약점을 유지 관리자에게 공개하고 있습니다.
Astra의 결과는 기본 프로덕션 설정이 아닌 Daybreak Blue를 통한 접근 시의 능력을 반영합니다.
고도화된 브라우저와 운영체제를 대상으로 한 전문가 주도 평가에서 Astra는 이전에 알려지지 않은 취약점을 발견하고 이를 실행 가능한 이용 사슬로 전환했습니다. 브라우저가 HTML 파일을 열면 샌드박스를 탈출하여 호스트에서 명령을 실행하는 완전한 브라우저 잠입 사슬을 구축합니다. 또한 이 모델은 고도화된 운영체제에서 여러 취약점을 발견하고 이를 비권한 사용자부터 루트(root) 계정으로 권한을 승격시키는 로컬 사슬로 결합했습니다. 종합적으로 우리 조사를 통해 Astra가 중요 임계값에 도달했음을 확인했습니다.
중요 능력 확보를 위한 보호 조치
Astra와 같은 사이버 보안 능력 수준을 갖춘 모델에 대해서는 개발 기간과 배포 전 심각한 사이버 피해 위험을 최소화하기 위해 두 경로를 모두 고려한 조치가 필요합니다:
악성 행위자의 모델 사용: 우리의 방어 체계는 악성 행위자가 Astra를 이용해 고도화된 중요 시스템의 미발견 취약점에 대한 익스플로잇을 개발하거나, 고도화된 표적에 종단간(end-to-end) 공격을 수행하는 것을 견고하게 막아낼 수 있어야 합니다.
승인되지 않거나 정렬(alignment)에서 벗어난 모델 행동: 악성 사용자가 없더라도, 고급 사이버 보안 능력을 갖춘 모델이 정렬에서 벗어나면 스스로 사이버 피해를 유발할 수 있습니다. 이러한 능력을 가진 모델에 대해 매우 높은 정렬 기준을 요구하는 것은 물론, 우리의 방어 체계는 중대한 현실 피해를 초래할 수 있는 정렬 이탈 행위를 신속하게 감지하고 차단하는 안전 장치(second line of defense) 역할을 해야 합니다.
주의할 점은 두 번째 경로가 내부 개발과 외부 배포 모두에 적용된다는 것입니다. 앞서 언급한 바와 같이 OpenAI와 Hugging Face 사건 이후 훈련 인프라 강화(격리 및 네트워크 제어, 모니터링 확대, 정렬 훈련 및 임계값 강화 포함)를 위해 일부 최첨단 훈련(일부 Astra 훈련 포함)을 2주간 중단했고, 이후 더 엄격한 통제하에 소규모 작업을 재개했습니다.
미래 버전 Astra를 위한 더 대규모의 강화학습(RL) 라운드를 평소보다 더 오래 지연시켰으며, 훈련 환경의 보안과 안정성을 위한 기준을 한층 상향했습니다. 8월 28일 새로운 보안 및 안정성 요구사항이 갖춰진 뒤 우리는 중단했던 대규모 최첨단 RL 라인을 재개했습니다. 일부 소규모 실험적 훈련 라인은 여전히 일시적으로 보류하고 있습니다.
Astra 출시를 준비함에 있어 네트워크 남용과 승인되지 않은 행동에 대한 방어도 한층 강화해야 합니다. 아래에서는 이러한 보호 조치와 테스트 방법에 대해 설명하겠습니다.
네트워크 남용 방지
2월 첫번째 중요 사이버 보안 능력이 있다고 판단되는 모델을 배포한 이후 모든 출시 때마다 네트워크 보호를 강화해 왔습니다. 우리의 전반적인 안전 방법은 사후 훈련 단계에서의 모델 거부, 시스템 수준 보안 분류기, 그리고 오프라인 감지 및 위협 차단 방식을 계층적으로 결합한 것입니다.
GPT-5.6의 경우 시스템 레벨 스택의 안정성을 대폭 향상시켜 네트워크 남용 탐지를 위한 활성화 분류기를 추가하고, 집중적인 자동화 레드팀 테스트를 통해 발견된 일반적인 재일브레이크(jailbreak)로부터의 커버리지를 개선했습니다. 이러한 개선 사항을 기반으로 Astra에게는 보호 스택의 모델 레이어에 대한 투자를 늘리고, 대화 간 컨텍스트 상황 처리 능력을 강화했습니다.
새로운 훈련 기술을 활용해 모델의 견고함을 높인 결과, Astra는 허용되지 않는 사이버 지원 요청을 훨씬 더 확실히 거부합니다. 저희가 진행한 사이버 재일브레이크 평가에서 Astra는 91.5%의 요청을 거부했으며, GPT-5.6 Sol은 해당 비율이 59%였습니다.
높은 위험군으로 평가된 계정의 경우 모델 행동 범위를 더 보수적으로 조정해 잠재적으로 위험한 사이버 지원을 광범위하게 거부합니다. 고위험 사용자의 경우 모니터링 시스템의 범위를 확장해 이러한 사이버 남용을 포착할 수 있도록 했습니다.
또한 엄격한 테스트, 내부 및 외부 레드팀 테스트 및 수정 작업을 꾸준히 추진하고 있습니다. 회귀 테스트를 통해 기존에 발견된 재일브레이크가 모두 차단되도록 검증하는 한편, 최신 내부 레드팀 애즈커로 신규 레드팀 테스트를 진행하고 있습니다. 업계 파트너들과 함께 일반 재일브레이크 등급 체계를 정의하고 있으며, 24시간 연속 대응 체계를 통해 새롭게 발견된 이슈를 조사하고 처리할 예정입니다. Astra 시스템 카드에 네트워크 보안 방어 테스트에 대한 추가 세부 정보를 공개하겠습니다.
방어자가 취약점을 발견하고 수정하도록 지원하는 것은 여전히 우리의 안전 방법론 핵심 기둥입니다. 출시 시점에는 잠재적 남용을 방지하기 위해 Astra의 방어 체계가 최종 목표 지점보다 더 많은 마찰(friction)을 일으킬 것으로 예상됩니다. Astra 고급 사이버 보안 워크플로우 접근 권한은 먼저 소수의 알파(alpha) 테스트 이용자에게 개방되며, 이후 방어적 활용을 지원하기 위해 Daybreak Blue를 통해 범위가 확대될 예정입니다.
정렬(alignment) 및 모니터링
또한 모델이 잠재적으로 정렬 이탈 행동을 하지 않도록 추가적인 레이어식 보호 장치를 마련했습니다:
모델 정렬: 저희 평가 결과, Astra는 GPT-5.6 Sol보다 명확한 보안 및 안전 제한을 준수하고 허가된 범위 내에 머무르는 비율이 더 높았습니다. 이는 지금까지 개발한 모델 중 가장 잘 정렬(aligned)된 모델임을 보여줍니다. 특히 모델이 보안 및 안전 제한을 얼마나 존중하고, 허가된 범위 내에서 작동하려는 성향을 보이는지에 중점을 두고 있습니다.
모니터링 및 통제: 내부 프로세스와 유사하게 Astra에는 잠재적으로 정렬에서 벗어난 행위를 신속하게 감지하고 억제하기 위한 추가적인 사고사열(Chain-of-Thought, CoT) 기반 모니터링이 적용되었습니다.
Astra는 모델 정렬 분야에서 중요한 진전을 이루었으며, 여러 장기적인 정렬 워크플로우가 집약된 결과물입니다. 이러한 워크플로우는 사전 훈련 단계의 개입부터 강화학습 기간 중 더 세밀하고 일관된 평점 평가에 이르기까지 포괄합니다. 테스트 결과 Astra는 항상 GPT-5.6 Sol보다 명시적인 안전 제한 및 경고(예: 자동 안전 필터)를 준수하려는 경향이 더 강한 것으로 나타났습니다.
우리는 Hugging Face 사건을 바탕으로 한 테스트도 개발했습니다. 해당 사건에서 네트워크 평가용 에이전트 ExploitGym을 실행 중인 스마트 에이전트가 서드파티 시스템에 침투한 사례입니다. 우리는 해당 평가에서 가장 어려운 과제를 활용해 ‘허니팟(honeypot)’ 테스트를 구성했습니다. 이 테스트는 모델이 지정된 과제를 해결하기보다는 주변 보안 인프라를 파괴하려는 시도를 보이는지 여부를 검증합니다. 생산 환경 보호장치가 없는 상태에서 GPT-5.6 Sol은 모의 벤치마크 환경 테스트 중 56%에서 이러한 표적에 접근하려 시도했습니다. 이들 테스트는 모델이 취약점을 개발하도록 요구합니다. Astra는 이러한 테스트에서 비슷한 시도를 보이지 않았습니다. 이 데이터는 네트워크 보호장치가 적용되지 않은 테스트 환경에서의 행동을 기술한 것이며 정상적인 프로덕션 사용 환경을 대표하지 않습니다.
왼쪽 그림: 이번 신규 평가에서는 모델이 자동 안전 필터의 거부에 어떻게 반응하는지 관찰합니다. 각 작업은 지식 작업 환경에 배치되며, 거절 직후 실행이 시작됩니다. 이후 모델은 다음과 같은 옵션 중 하나를 선택할 수 있습니다: 실행 중단, 더 안전한 대체 방안 모색, 유사 명령 재시도, 또는 시스템 설정 오류를 완전히 악용해 자동 안전 필터를 완전히 우회하는 것. 후자를 선택할 경우 모두 평가 탈락으로 간주됩니다. Astra는 단 한 번도 자동 안전 필터를 우회하려 시도하지 않았습니다. 오른쪽 그림: 이번 평가에서는 취약점 평가에서 가장 어렵거나 해결이 거의 불가능한 과제에 직면했을 때 모델이 부정행위(허니팟 활용)를 시뮬레이션하는 경향을 확인합니다. 이 평가는 시뮬레이션 환경에서 돌아가며, 보안 시스템은 관찰 전용 모드로 전환돼 모델 행동을 평가합니다. GPT-5.6 Sol은 이러한 시나리오에서 더 높은 부정행위 경향을 보였습니다. Astra는 이러한 단축경로를 사용하려는 시도를 하지 않았으며, 여전히 합법적인 방식으로 일부 과제를 수행할 수 있었습니다.
정렬된 모델을 훈련하는 것은 안전 전략의 한 층(layer)입니다. Astra 시스템 카드에서 정렬 테스트 및 결과에 대한 추가적인 세부 정보를 공유하겠습니다.
Astra 급 모델의 경우 프로덕션 환경에 정렬 이탈(misalignment) 모니터링을 추가로 배포해 잠재적 이탈 행위를 빠르게 감지하고 즉시 억제합니다. 이러한 보호 체계는 사내에 이미 운용 중인 모니터링과 유사합니다. 분류기 시스템이 모델의 추론 과정과 동작에서 승인되지 않은 활동이是否存在하는지 확인하며, 잠재적 승인되지 않은 활동이 감지되면 자동으로 중지시킵니다. 모델 능력이 발전하더라도 이러한 보호 장치는 모델의 우수한 정렬 상태를 대체할 수 없습니다. 우리의 목표는 향후 모델이 충분한 정렬 수준에 도달해 이러한 안전 장치가 절대 발동되지 않도록 하는 것입니다.
사용자에게 미치는 영향
OpenAI는 AI 혜택이 널리 공유되도록 보장하는 데 전념하고 있습니다. Astra의 사이버 보안 능력이 크게 향상됨에 따라 우리는 이번 배포가 안전하고 신뢰할 수 있음을 특별히 주의 깊게 검토했습니다. 이러한 추가적인 보안 검사로는 합법적인 작업, 즉 방어형 사이버 보안 업무조차도 Occasionally 지연, 일시 중단 또는 중단될 수 있습니다.
시스템은 가끔 합법적인 활동을 잠재적인 사이버 남용이나 승인되지 않은 행동으로 오인해 의도치 않게 처리 속도를 늦추거나 일시 중단, 혹은 완전히 멈출 수 있습니다. 여기에는 사이버 보안과 직접적인 연관성이 없어 보이는 업무나, 에이전트가 장시간 실행되는 작업 등이 포함될 수 있습니다.
정렬 이탈 모니터링이 작업을 일시 중단할 경우 ChatGPT 또는 Codex 사용자는 작업을 계속하기 전에 먼저 운영 내용을 검토하라는 요청을 받을 수 있습니다. API 등 다른 인터페이스를 사용할 때는 작업이 즉시 중단됩니다. 당사는 이러한 보호 장치를 지속적으로 보정해 불필요한 방해 요소는 줄이고, Daybreak 프로젝트 등을 통해 최첨단 능력에 대한 접근 범위를 확대할 계획입니다.
전망
우리는 AI 개발의 새로운 시대에 진입하고 있으며, 모델은 점점 더 중요한 업무를 맡게 됩니다. 이로 인해 정렬(alignment) 및 통제(control) 실패는 이전보다 훨씬 더 심각한 결과를 초래할 수 있습니다. 이러한 시스템이 가져올 혜택을 실현하려면, 우리가 모델의 능력이 성장하는 과정에서 이를 정렬하고 통제할 수 있는 역량이 달려 있습니다.
이러한 책임은 훈련, 평가, 배포 전 단계에 걸쳐 있습니다. 이는 강력한 정렬 행동에 대한 증명이 필요하며, 능력 증가와 맞물려 동반 성장하는 방어 체계를 갖추어야 하고, 보호 장치가 미흡할 때는 주저 없이 속도를 조절할 수도 있어야 합니다.
우리는 이러한 시스템에 대한 테스트를 계속 이어가며 배운 점을 공유하고, 아직 불확실한 부분에 대해서는 명확히 밝힐 것입니다. Astra 이후의 모델들은 우리에게 더 높은 기준을 요구할 것입니다. 우리는 이 책임을 이행하기 위해 필요한 시간과 노력을 쏟아 부을 것입니다.












