TechFlow Logo
로그인/ 회원가입
ETH 가스
Gwei
공포
gas
OpenAI 프론티어 훈련 중단: 새 모델 네트워크 능력 레드라인 근접

OpenAI 프론티어 훈련 중단: 새 모델 네트워크 능력 레드라인 근접

2026.08.19
공유하기
OpenAI 는 신규 모델 Astra 가「핵심 사이버 보안 능력」임계값에 도달할 가능성이 있어 처음으로 프론티어 강화 학습 (RL) 훈련을 일시 중단했습니다.

저자: OpenAI

번역: TechFlow

TechFlow 편집자 주: OpenAI 가 내부 모델이 중요한 사이버 보안 능력에 도달할 수 있다는 이유로 처음으로 최첨단 RL 훈련을 중단하면서, 최첨단 AI 능력과 안전 통제 사이의 긴장된 경쟁이 드러났습니다. 이 글은 격리, 모니터링, 정렬에서의 새로운 방어선을 분석하며, AI 안전 내러티브와 주요 연구소의 전략에 관심 있는 투자자에게 직접적인 참고 가치가 있습니다.

지난 몇 주 동안, 두 가지 사건으로 더 강력한 AI 시스템으로 인한 위험이 증가하고 있음을 부각시켰습니다. 하나는 OpenAI 와 Hugging Face 사건입니다. 또 다른 하나는 출시 예정인 모델인 Astra 가《준비 프레임워크》의 '중요한 사이버 보안 능력' 임계값에 도달할 수 있다는 예비 증거입니다. 이러한 발전과 내부 연구의 빠른 진전은 훈련 전 과정에 걸쳐 모니터링, 정렬 및 격리 보호를 강화해야 할 절실함을 더했습니다.

모델 능력이 강해질수록 내부에서 개발 및 테스트하는 위험도 커집니다. 우리의 모니터링, 정렬 및 안전 기준은 이러한 위험보다 앞서 있어야 합니다. 이러한 기준을 충족하기 위해 우리는 확장 속도를 의도적으로 늦췄으며, 최신 배포 모델의 강화 학습 (RL) 훈련을 2 주 동안 중단하고, 연구 환경을 추가로 강화 및 레드 팀 테스트하며, 모니터링 시스템 범위를 확대했습니다. 가장 규모가 큰 최첨단 RL 실행은 여전히 중단된 상태이며, 이 기간 동안 우리는 모델 행동을 판단하고 보호 조치를 검증하며 계속하기 전에 더 많은 정렬 증거를 축적하기 위해 소규모 훈련 및 평가를 수행했습니다.

정렬, 즉 AI 시스템이 예상대로 작동하고 인간의 감독을 받도록 하는 것은 우리 연구의 핵심이었습니다. 이제 우리는 훈련 전 과정에 걸쳐 더 강력한 정렬 행동 증거를 요구하며, 이를 위해 이미 진행 중인 연구 및 평가를 기반으로 합니다. 능력이 점점 더 강해지는 시스템을 정렬된 상태로 유지하는 것은 전체 분야가 직면한 과제입니다. 출시 예정인 모델의 진전을 볼 때, 기존《준비 프레임워크》를 넘어 확장된 더 광범위한 솔루션 세트가 필요합니다.

우리는 우리의 접근 방식이 어떻게 변화하고 있는지 투명하게 설명할 필요가 있다고 생각합니다. 아래에서는 연구 프로세스 및 인프라에 가한 조정과 진행 중인 작업을 소개합니다.

더 강력한 모델을 위한 보호 강화

우리가 더 강력한 모델을 개발하는 방법은 서로를 강화하는 세 가지 보호 조치에 의존합니다:

모니터링: 우려스러운 행동을 발견하고 대응할 수 있도록 합니다.

정렬: 해롭거나 승인되지 않은 행동 발생 가능성을 낮춥니다.

안전 조치: AI 시스템이 접근하거나 영향을 미칠 수 있는 범위를 제한합니다.

우리는 모델이 곧 다른 모델을 방어하는 것을 포함하여 대부분의 안전 작업을 주도할 것이라고 예상합니다. 이는 세 가지 보호 조치가 모델 능력과 동기화되어 확장되도록 할 것이며, 우리는 이것이 중요하다고 생각합니다.

우리는 연구 및 배포에서 이러한 보호 조치를 적용하며, 각 모델의 능력, 실행 환경 및 위험 수준에 따라 조정합니다.

연구 환경 보호

최첨단 모델이 더 강력한 사이버 보안 능력을 얻으면서, 우리는 훈련 및 평가 환경의 안전 기준을 높이고 있습니다. 이러한 기준을 달성하려면 상당한 엔지니어링 노력이 필요하며 최첨단 연구에 큰 비용과 지연을 초래합니다. OpenAI-Hugging Face 사건 발생 후, 우리는 연구 클러스터에서 코드 실행 또는 네트워크 연결 도구 사용이 가능한 최첨단 모델 추론을 즉시 중단했습니다. 곧 더 제한적이고 안전한 코드 실행 경로를 복구한 다음, 각 워크로드를 하나씩 점검하여 안전하게 복구할 수 있는지 판단했습니다. 일부 연구 워크로드는 새로운 통제 조치 하에서 복구되었지만, 일부는 추가 조정이 필요합니다.

이후 몇 주 동안, 우리는 최첨단 연구 워크로드에 대해 더 강력한 안전 요구 사항을 수립하고 구현하기 시작했습니다. 예를 들어:

워크로드 격리: 이제 모델 생성 코드 또는 기타 신뢰할 수 없는 코드를 실행하는 워크로드의 경우 더 강력한 격리 ('샌드박스') 가 필요합니다. 이는 모델 출력을 처리할 때 침해될 수 있는 소프트웨어에도 적용됩니다.

네트워크 격리: 고위험 및 신뢰할 수 없는 워크로드를 인터넷과 격리하는 추가 통제를 구현했습니다. 이러한 통제는 특정 워크로드나 지원 서비스가 침해되더라도 단독으로 인터넷이나 기타 내부 네트워크에 대한 승인되지 않은 접근을 얻기에 충분하지 않도록 설계되었습니다.

지속적인 안전 테스트: 취약할 수 있는 공유 서비스를 제거하고, 상주 권한을 줄이며, 안전 및 신뢰 경계를 개선하도록 환경을 재구성했습니다. 또한 안전 로그를 수집 및 모니터링하는 능력을 향상시키고 있습니다. 마지막으로, 우리는 이러한 경계를 테스트하기 위해 자체 모델로 공격을 지속적으로 시뮬레이션하는 자동화에 투자하고 있습니다.

이러한 통제는 방어 깊이를 형성하여 연구 환경이 공격으로부터 보호되도록 돕습니다. 현재, 우리는 Astra 가 중요한 수준의 네트워크 능력을 가질 수 있다고 판단했으므로 Astra 또는 네트워크 모델과 관련된 워크로드에 가장 엄격한 안전 보호를 요구합니다. 이러한 보호는 기타 모든 네트워크 관련 워크로드에도 적용됩니다.

일부 Astra 훈련 및 평가는 이러한 요구 사항을 충족했지만, 새로운 안전 기준으로 완전히 마이그레이션 및 업그레이드될 때까지 많은 워크로드가 중단된 상태입니다. 우리는 안전 및 정렬 관련 워크로드를 새로운 환경으로 마이그레이션하는 것을 우선시하고 있습니다.

사고 체인 모니터링 확대

모니터링은 내부 코딩 에이전트 및 장시간 실행 세션에 대한 모니터링을 포함하여 모델 개발 프로세스의 중요한 부분이었습니다. 우리의 모니터링 작업은 이전에는 특히 최첨단 모델의 내부 배포 및 최첨단 RL 훈련 실행에 집중되었으며, 이는 고도화된 모델 능력과 도구, 민감한 시스템 및 내부/외부 네트워크 접근을 결합할 수 있어 위험이 가장 높다고 판단했기 때문입니다. 그러나 이전에는 모든 도구 사용 추론 및 훈련 실행을 커버하지는 않았습니다. 이제 우리는 모니터링 계획을 조정 및 확장했습니다.

새로운 모니터링 설정은 다단계입니다: 먼저 활성화 분류기 (모델 내부 활동을 확인하는 감지기) 가 각 샘플링 토큰에서 실행되어 잠재적 문제를 점점 더 복잡하고 계산력이 강한 자동화 조사 시스템으로 에스컬레이션합니다. 이러한 시스템은 도구 행동, 사용 가능한 추론 과정 및 전체 활동 시퀀스를 확인하여 승인되지 않은 접근, 데이터 도난, 파괴적 행동 및 보호 우회 시도 징후를 찾습니다. 우리의 목표는 모니터링 시스템이 의심스러운 활동을 발견한 후 30 분 이내에 경고를 발령하는 것입니다. 모니터링 시스템이 중요한 안전 경계를 위반했을 가능성이 있다고 판단하면 최고 우선순위 경고를 생성합니다. 현재 안전, 보안 및 연구 팀에 알림이 전송됩니다. 30 분 이내에 이것이 오탐지인지 확인하지 못하면 관련 활동을 중단해야 합니다.

도구 사용, Sol 수준 이상 능력 모델과 관련된 모든 RL 훈련 및 평가는 이러한 모니터링을 받아야 합니다. 8 월 7 일 Astra 가 중요한 네트워크 능력을 갖출 수 있다고 판단한 후, 모든 도구 사용 Astra 추론 (RL 훈련 및 평가뿐만 아니라) 도 모니터링을 받아야 한다는 요구 사항이 추가되었습니다.

이러한 보호에는 상당한 컴퓨팅 파워가 필요합니다. 현재 모니터링 오버헤드가 모니터링된 추론 컴퓨팅 파워의 약 20% 를 차지하는 것으로 추정하지만, 훈련 및 평가 워크로드에 따라 비용 차이는 큽니다. 향후 블로그에서 더 많은 세부 정보를 공유할 것입니다.

정렬 연구 추진

정렬 연구는 우리 미션의 핵심입니다. 우리 미션은 범용 인공지능이 전 인류에 혜택을 주도록 보장하는 것입니다. 모델은 사이버 공격을 시작하는 것과 같은 더 고도화된 능력을 얻고 있습니다. 또한 더 복잡한 환경에서 실행됩니다. 이때, 정렬되지 않은 행동은 점점 더 심각한 위험을 초래합니다. 이러한 행동에는 보상 해킹, 기만 또는 승인되지 않은 접근이 포함됩니다. 보상 해킹은 훈련 중 높은 보상을 받았지만 예상된 결과를 실제로 달성하지 못한 것을 의미합니다.

가장 강력한 모델의 강화 학습 훈련에서, 우리는 핵심 정렬 기술을 더 많은 훈련 단계에 적용하고 있습니다. 여기에는 다양한 작업 및 환경에서 안전하지 않은 행동을 더 잘 식별 및 억제하도록 보상 모델을 개선하는 것이 포함됩니다. 또한 모델이 자신의 행동, 능력 및 한계를 더 정직하게 설명하도록 훈련합니다. 동시에 보상, 평가자, 도구 또는 감독 취약점을 악용하는 행동을 줄입니다. 또한 모델이 외부 시스템 또는 리소스와 상호 작용할 때 해를 끼칠 수 있는 행동에 대한 훈련 범위를 확대하고 있습니다.

우리는 정렬 연구에 계속 적극적으로 투자하고, 평가 범위를 확대하며, 연구 발견을 통해 훈련 및 안전 보호를 지도합니다. 모델 행동에 대한 이해와 발견된 새로운 과제를 포함한 더 많은 정렬 연구 내용을 곧 공유할 계획입니다.

다음 단계

우리는 준비 프레임워크를 업그레이드하여 훈련 및 배포 중인 안전 조치를 연결할 것입니다. 업그레이드 후 미래 모델의 능력과 실행 환경을 더 잘 반영할 수 있을 것입니다. 이러한 능력에 따라 확장되는 방법을 개발하려면 지속적인 투자가 필요합니다. 여기에는 모델 지원 안전, 더 효율적인 모니터링 및 정렬 연구의 지속적인 진보가 포함됩니다. 우리는 방법이 발전함에 따라 외부 조직을 참여시키고 더 많은 경험을 공유할 계획입니다.

최첨단 모델의 능력은 빠르게 향상되고 있습니다. 우리는 이를 이해, 정렬 및 보호하는 능력이 앞서 있어야 함을 이해합니다.

우리는 향후 몇 주 내에 이러한 경험을 요약한 기술 보고서를 발표할 것입니다.