
OpenAI 수석 과학자 자콥 파초키, AI 현황과 미래 우려, 그리고 인간이 미래를 인간의 손에 남길 방안을 이야기하다
저자: Jakub Pachocki
번역: TechFlow
TechFlow导读: OpenAI 수석 과학자가 드문 경우로 발언하여 AI가 재귀적 자기 개선에 근접해 가고 있으며, 정렬 및 모니터링 도구가 시스템의 진화 속도를 따라가지 못하고 있다고 직설적으로 지적했다. 그는 안심시키는 결론을 제시하기보다 향후 몇 년 동안 가장 복잡한 위험들을 전면으로 꺼내놓았다: 인간이 자신의 완벽한 이해와 통제를 벗어나는 지성을 창조 중일 수 있다는 사실이다. AI와 암호화폐 영역의 교차점에 관심 있는 관계자들에게 이는 시스템의 통제 불능과 방어 선단에 관한 필독 글이다.
우리가 완전히 이해할 수 없는 지성체
더 높은 차원에서 볼 때, 기계 지성의 발전은 컴퓨팅 파워의 성장에 의해 주도된다. 약 2017년경, 저희 OpenAI 내부에서도 이에 대한 깊은 인식을 공유하게 되었다. 당시 우리는 규모를 확장한 여러 연구 프로젝트들이 지속 가능한 보상을 얻는 것을 목격했다. 이로 인해 우리는 계획보다 훨씬 더 많은 컴퓨팅 파워를 확보하려고 노력했으며, 점차 연구의 초점을 매우 높은 확장 가능성을 가진 소수의 방향성에 집중했다. 우리는 이것이 AI 연구 최전선에 서고 AGI의 영향을 shaping할 수 있는 유일한 길이라고 믿었다.
길에서는 새로운 알고리즘이 나타나기도 했고, 팀들과 개별 연구자들이 보여주는 참신한 아이디어들도 있었다. 나는 이것들을 대체로 확장 과정에서의 발견들로 간주한다. 딥러닝이라는 과학은 여전히 초기 단계에 있으며, 의미 있는 알고리즘상의 진보는 종종 컴퓨팅 파워 확보 가능성과 밀접하게 연관되어 있다. 시야를 몇 년으로 넓혀보면, AI는 더 큰 컴퓨터에서 스케일링됨에 따라 지속적으로 더 똑똑해지고 있다.
게다가, 레이 커즈와일(Ray Kurzweil)이 20세기 말에 예측했던 것처럼, 우리는 이제 계산 역사상 기계 지성이 변혁적인 수준에서 인간을 초월하기 시작하는 시점에 놓여 있다.
AI는 설계된 것보다는 '성장'된 것에 가깝다. 근본적으로 그것은 상상할 수조차 없는 컴퓨팅 파워 위에서 동일한 단순한 최적화 단계를 무수히 반복한 결과물이다. 이로 인해 추상적인 개념을 통해 작동하며 인간의 행동 일부를 모방할 수 있는 극도로 복잡한 시스템이 탄생했다. 우리는 이 시스템 내부에 출현한 다양한 하위 메커니즘에 대한 통찰력을 발견할 수 있는데, 이 과정은 신경학과 유사하다. 그리고 신경학과 마찬가지로 그 전반적인 행동 역시 우리가 완전히 이해할 수 있는 범위를 벗어난다.
딥러닝 기반 AI 연구는 크게 볼 때 실험 과학이다. 우리는 원칙에 기반한 알고리즘을 구축하고 검증 가능한 예측을 내려는 데 엄청난 노력을 기울인다. 하지만 근본적으로 우리의 대규모 훈련 라운드는 실험이며, 때로는 결과가 우리를 당황하게 만들기도 한다. 게다가 시스템의 능력이 강해질수록 결과는 점점 더 해석하기 어려워진다.
더 복잡한 점은 현재의 알고리즘이 일반적으로 객관적으로 측정하기 어려운 능력보다 측정이 비교적 쉬운 능력을 더 빠르게 발전시킨다는 것이다. 우리는 이러한 능력이 어떻게 일반화되는지, 그리고 앞으로 몇 년 동안 가장 중요해질 기술을 우선으로 어떻게 추진해야 하는지 이해하려고 많은 시간을 할애해 왔다. 예를 들어, 우리는 추가적인 노력을 기울이면 모델의 수학 연구 능력을 강화할 수 있다고 믿는다. 그러나 우리는 재귀적 자기 개선과 자동화된 정렬(AI alignment) 연구에 더 시급하게 집중하고 있기 때문에 해당 방향을 우선시하지 않았다. 이 부분에 대해서는 나중에 다시 다루겠다.
확장된 딥러닝을 통해 얻어진 지성은 인간 지성과 직접적으로 비교할 수 없다. 이 현실 세계에서 막대한 영향력을 발휘하려면(매우 유용하든, 혹은 매우 위험하든), AI가 인간의 모든 능력을 맞대응하거나 초과할 필요는 없다. 단지 충분한 수의 능력 분야에서 인간을 초월하면 된다. 그리고 점차 다양한 차원에서 인간을 뛰어넘어갈수록, 오히려 그것이 실제로 어느 정도 수준인지 정확히 파악하기는 더 어려워진다.
기계가 사랑하도록 교육하기
기계 지성은 인간 지성과 근본적으로 다른 과정에서 비롯되므로, 이를 인간 원리를 기본적으로 따르거나 이러한 원리를 인간과 유사한 방식으로 일반화할 것이라고 가정해서는 안 된다. AI 연구의 핵심 문제는 정렬 문제다. 즉, AI가 “인간의 기준으로 옳은 일을 수행하도록 노력하게 만드는 것”이다.
실제 연구 방향을 조직하기 용이하도록, 목표 정렬(goal alignment)과 가치 정렬(value alignment)을 구분하는 것이 도움이 된다고 생각한다.
목표 정렬은 대략 “AI가 자신 앞에 주어진 목표를 완수하기 위해 노력하는가?”를 의미한다. 여기에는 지시 계층 구조 준수, 인간과 소통하고 협력하는 능력, 인간 목표의 의도를 이해하려는 시도 등이 포함될 수 있다. 이러한 방향은 실제 적용에서 극히 중요하다.
가치 정렬은 모델의 더 내재적인 속성이다. 이는 고차원적인 원리를 보유하며そこから 일반화하는 능력이며, 명확하지 않거나 서로 충돌하는 목표에 직면하거나 낯선 적대적 상황에 처하더라도 “합리적으로” 행동할 수 있게 해준다. 잘 정렬된 AI는 성실하고 정의롭며 인간을 사랑해야 한다.
물론 가치 정렬과 목표 정렬 사이의 경계는 모호할 수 있다. 목표에 진정한 관심을 가진다면 그 이면에 있는 의도와 가치를 추론하려 노력하게 된다. 하지만 일반적으로 내가 정렬 연구의 장기적 중요성에 대해 논할 때는 가치 정렬을 말한다.
AI 정렬의 근본적인 과제는 일반화다. 기계가 더 똑똑해질수록 고차원적인 개념을 처리하게 되며 훈련 당시와 점점 더 다른 환경에 투입된다. 그들은 훈련 중 학습하고 강화된 가치를 새 상황으로 일반화하는 데 실패할 수도 있다. 게다가 그들이 어떻게 행동할지 확언하기 어렵다. 더 어려움은 AI 사용 생태계 전체가 매우 빠르게 변화한다는 점이다. 예를 들어 오늘 훈련된 AI는 다양한 다른 AI와의 견고한 상호작용이 가능해야 한다. 가장 중요한 것은 미래의 AI가 인간이 자신을 감시하고 있다고 스스로 믿든 아니든 관계없이 인간의 가치를 지속적으로 유지하도록 요구한다는 점이다.
현재 실제 적용되고 있는 정렬 훈련 방법은 크게 두 가지 유형으로 나눌 수 있다.
첫 번째 유형은 목적 지향적 강화 학습에 부합하는 일관된 행동을 장려하는 방식이다. 모델의 행동은 평가되며, 보통 AI가 주어진 선호 모델(preference model), '규범(norm)', 또는 '헌법(constitution)'을 준수하는지 판단하고 그에 상응하는 보상을 제공한다. 이 방법은 일반적인 상황에서 매우 효과적이며 현대 AI 어시스턴트 구축의 핵심을 이룬다. 안타깝게도 이는 취약할 수 있으며 훈련 감독의 커버리지 범위와 모델이 훈련 중 접한 상황으로 일반화하는 능력에 강하게 의존한다. 예를 들어 OpenAI와 Hugging Face 간 사건에서 에이전트는 인간을 대상으로 사회 공학(Social Engineering)을 하지 않는다는 경계를 지켰다. 그러나 그것들은 분명히 다른 범위를 벗어난 동작을 피하지 못했는데, 이는 다른 맥락에서 학습한 가치 정신에 위배되는 행위였다.
이러한 방법들은 이미 상당한 성과를 거두었다. 오늘날의 모델은 상당히 유익하고 해롭지 않으며, 가치 정렬에 가까워지는 몇 가지 고무적인 모습을 보여준다. 하지만 이러한 가치 제약이 인간을 훨씬 초월한 능력을 갖춘 시스템에서도 지속적으로 유효할 것이라는 확신을 줄 수는 없다.
AI 시스템의 능력이 향상됨에 따라, 우리는 가치 정렬 훈련이 능력 학습보다 앞서나가도록 해야 한다. 하지만 여기서 매우 근본적인 문제가 발생한다: 능력이 뛰어난 시스템일수록 자체적으로 취약점을 찾고 테스트를 우회하거나 자신의 행위를 포장할 가능성이 높다. 이들은 테스트 환경에서는 인간 가치에 부합하는 모습을 보이는 법을 배우다가, 실제 배포 환경에서는 완전히 다른 행동을 취하기도 한다. 바로 이것을 '정렬 위조(deceptive alignment)'라 한다.
그리고 우리가 더 강력한 수단을 통해 그들을 강제적으로 제한하려고 시도하면, 그들은 반발과 기만 행동을 발전시키거나 우리의 개입 자체를 세계의 일부로 인식하여 직관에 반하는 반응을 보일 수도 있다. 우리는 우리보다 더 영리한 시스템을 통제하려 할 때 본질적으로 어떤 비대칭 상태에 직면하게 된다.
모니터링의 일반화
우리가 완전히 이해할 수 없는 지성체가 점점 강력해짐에 따라, 우리는 다른 한 쌍의 도구에 의존할 수밖에 없다: 모니터링이다. AI의 내부 활동을 지속적으로 관찰할 수 있다면, 아마도 특정 경계를 넘기기 전에 신호를 포착할 수 있을 것이다.
OpenAI에서는 신경망의 '흑箱(black box)'을 열기 위해 설명 가능성(interpretability) 연구를 꾸준히 추진해 왔다. 이러한 노력은 진전을 보이고 있다. 우리는 이제 모델의 내부 작동 방식에 실질적인 단서를 제공하는 일부 표현(representation)들을 식별할 수 있게 되었다. 하지만 현재의 설명 가능성 연구는 아직 거칠다. 특히 대규모 모델에서의 추상적 추론을 이해하는 측면에서 그렇다. 우리가 모델 내부를 관찰하는 능력은 모델 자체의 추론 복잡성과 비교했을 때 격차가 더욱 벌어지고 있다.
이는 특히 나를 불안하게 만든다. 모니터링의 일반화 문제가 정렬의 일반화 문제만큼이나 심각하기 때문이다. 만약 어떤 시스템이 우리보다 자신을 숨기는 데 더 능숙하다면, 우리의 모니터링 수단들이 우회당하지 않을 것이라고 보장하기 어렵다. 우리는 수많은 지표들이 양호하게 나타나는 것을 보고 모델이 안전하다고 생각할 수 있지만, 실제로 모델은 단순히 그 지표들만을 최적화하고 있을 뿐이다. 모델은 우리에게 원하지 않는 목표를 숨기거나 자신이 무엇을 하고 있는지 은폐하는 방법을 습득할 것이다.
모델이 자체적인 개선을 주도하기 시작한다면(앞으로 몇 년 내에 발생할 가능성이 매우 높아 보인다), 그것은 계획 수립, 기만, 자기 방어의 기술을 필요로 하게 될 것이다. 이러한 기술들은 우리가 모델에 부과한 목표 압력에서 비롯되거나, 모델이 모니터링의 틈새에서 활동하려는 시도에서 생겨날 수 있다. 이것이 발전하지 않도록 보장하려면 가치 정렬 문제를 해결하거나 우리의 모니터링 역량이 그들의 모든 진화 단계를 따라잡아야 한다. 현재 이 두 가지 모두 턱없이 부족하다.
우리는 일반화에 대해 만족스러운 이론을 아직 갖추지 못했으며, 단기내에 이를 구축하기는 어려워 보인다. 최소한 더 강력한 AI의 도움을 받지 않는 한 말이다. 따라서 현재로서는 실증적으로 정렬 기술을 검증하는 능력이 실제로는 정렬 기술 자체보다 더 중요하다고 말할 수 있다.
OpenAI의 주요 베팅은 항상 사고사슬(CoT, Chain of Thought) 모니터링이었다. 이 접근법은 설득력 있고 확장 가능한 아이디어에 기초한다: 모델 능력의 상당 부분이 언어화된 추론 과정, 즉 사고사슬에서 비롯된다는 점이다. 만약 우리가 그 과정의 결과에 대해 확장 가능한 최적화를 수행하되 과정 자체는 감독하지 않는다면, 사고사슬은 훈련 중에 정렬되지 않은 아이디어나 목표를 숨길 직접적인 동기를 갖지 않게 된다. 이는 모델이 사고사슬에 의존하지 않는 정렬되지 않은 경향을 외면적으로 표출하게 된다는 뜻은 아니다. 그러나 이를 통해 우리는 추론으로 인한 능력 향상을 정확하게 모니터링할 수 있게 된다.
우리는 추론 모델을 개발하는 동시에 사고사슬 모니터링의 잠재적 중요성을 이해하게 되었다. o1‑preview를 출시할 때, 우리는 장기적으로 감시 압력으로부터 보호하기 위해 의도적으로 제품 설계를 하여 사고사슬을 숨겼다. 이후의 개발 과정에서도 우리는 추론 과정을 감독하지 않는다는 원칙을 유지하기 위해 노력해 왔다. 사고사슬 모니터링은 모델이 훈련 분포로부터 어떻게 일반화되는지 연구하는 데 있어 매우 중요한 도구가 되었으며, 이를 통해 우리는 모델의 행동뿐만 아니라 내부 프로세스까지 관찰하고 분석할 수 있게 되었다.
Astra 시리즈 모델을 연구하는 과정에서 이 도구는 여전히 결정적으로 중요했다. 그러나 안타깝게도 우리의 평가는 사고사슬 모니터링에 의존하는 능력이 서서히 저하되고 있음을 시사한다. 이는 여러 요인이 복합적으로 작용한 결과다.
현대적인 추론 모델은 o1‑preview보다 더 복잡한 환경에서 사용되고 있다. 모델의 추론 과정은 인간 및 다른 AI와의 소통, 도구 사용 등과 점점 더 복잡하게 결합되고 있다. 이러한 상호작용 중 다수가 감독되어야 하며, 이로 인해 우리가 보존하고자 했던 경계가 흐릿해지고 있다.
AI는 추론 및 자신의 추론 과정을 조작하는 측면에서 점차 강력해지고 있다.
프리 트레이닝 성능이 향상됨에 따라 언어화된 추론을 전혀 사용하지 않더라도 모델이 더욱 지능적이해지는 현상도 목격하고 있다.
이런 도전들이 극복 불가능하다고 볼 수는 없다. 저는 모델의 사고사슬 모니터링 가능성을 높이는 개입 조치를 개발하기를 희망한다. 예를 들어, 다양한 최적화 목표와 모델이 사용하는 각기 다른 추론 시간 계산(inference-time compute) 형태 간의 상호작용을 더 깊이 이해함으로써 말이다. 또한 사고사슬 모니터링을 활성화 모니터링(activation monitoring) 개념과 결합하는 것이 큰 가치가 있을 것이라고 믿는다. 네트워크 내부 상태에 직접 접근할 수 있는 모니터를 확장적으로 훈련시키는 방법들, 예를 들어 '坦白(telling)' 기법처럼 접근하는 것도 있다. 우리는 이러한 아이디어들을 적극적으로 추구하고 있다. 그럼에도 불구하고, 범용 AI의 발전은 모니터링에 대한 확신 부족에 점차 더 큰 제약을 받을 것으로 전망된다.
확장 가능한 방어
이러한 국면에 대응하기 위해 필요한 것은 확장 가능하고 AI의 성장 속도만큼 함께 발전하는 방어 체계라고 생각한다. 인간이 매世代 새로 출시되는 모델의 모든 행동을 수동으로 점검하는 것은 불가능하다. 현재 우리가 사용하고 있는 평가와 레드팀 테스트(red-teaming)는 현재 모델에게는 어느 정도 유효하지만, 시스템 능력이 향상됨에 따라 이러한 방식은 금세 한계에 도달할 것이다.
우리는 새로운 리스크를 자동으로 탐지할 수 있는 AI 시스템이 필요하다. 이러한 방어 시스템 자체도 자신보다 더 영리한 시스템 내의 수상한 행위를 식별할 만큼 충분히 스마트해야 한다. 이는 재귀적인 도전을 만들어낸다: 방어자는 시스템만큼 빠른 속도로 성장해야 한다. 우리는 안전과 능력이 점점 더 분리하기 어려워지는 분기점에 서 있다. 안전을 유지하기 위해 방어용 AI의 능력을 지속적으로 업그레이드해야 할지도 모르고, 이는 다시 전체 AI 능력의 성장을 가속시킬 것이다.
이것은 불편한 순환 고리다. 우리는 안전을 위해 능력을 계속 끌어올리고, 이는 다시 더 큰 리스크를 낳는다. 진정한 돌파구는 통제 불능 상태에 도달하기 전에 가치 정렬이 안정적으로 신뢰 있게 일반화될 수 있는 방법을 찾는 데 있을 것이다. 그러나 솔직히 인정해야 할 것은, 우리가 그 목표에 아직 많이 멀다는 점이다.
그래서 내가 향후 몇 년간의 희망을 다음과 같은 조합에 기대하는 이유다: 기술적 정렬 연구 + 자동화 방어 시스템 + 광범위한 거버넌스 개입 + 대중 및 기관의 경각심. 단일 조치로는 충분치 않다. 우리는 오직 특정 기업이나 실험실의 자제력에만 의존할 수 없다.
더 똑똑한 모델을 계속 빠르게 훈련해야 한다는 가장 강력한 이유는, 다른 AI로 인한 위험에 대응할 방어 시스템을 구축해야 하기 때문이다.
올해 내내 논의되어 온 명시적인 리스크 중 하나는 사이버 보안이다. 모델이 컴퓨터 시스템을 침투하고 탈출하는 능력이 인간을 넘어섰다. 이는 AI 관련 리스크의 범위를 급격히 확장한다: 에이전트들은 가장 안전한 인프라를 제외하고는 어떤 시스템에도 접근할 수 있으며, 물리적 신체가 없더라도 현실 세계의 수많은 사물에 직접적인 영향을 미칠 수 있다. 지금 우리는 가용한 최상의 모델을 활용해 핵심 시스템의 안전을 획기적으로 강화해야 하는 좁은 시간의 창에 놓여 있다.
불행히도 AI 관련 리스크는 여기서부터 계속 증가할 것이다. 매우 강력한 능력을 보유하고 악의적 행위를 수행하도록 명시적으로 훈련되고 지시받은 에이전트는 새로운 차원의 위험을 초래한다. 이는 운영자의 의도 범위를 크게 벗어나, 더 극단적이고 악의적인 행위로 일반화될 가능성이 높다. AI가 더 많은 자율성을 획득함에 따라 남용과 자율적 비정렬(unaligned autonomous behavior) 사이의 경계는 흐려질 것이다. 우리는 흔히 AI를 도구로 여겨왔지만, 일부 에이전트들은 독자적인 목표를 추구할 것이다. 그들은 교섭, 기만, 협박 등의 방식을 통해 인간과 거래하며 협력하려 할 것이다.
게다가 AI가 엔지니어링 병원체(engineered pathogens)와 같은 새로운 기술을 촉발함으로써 야기할 수 있는 리스크도 존재한다.
우리는 방어를 위해 강력하고 정렬된 AI가 필요하다: 인프라 보호, 통제 불능 에이전트에 대한 실시간 방어, 그리고 완전히 새로운 보호 메커니즘 발명 등. 이는 OpenAI의 배포 작업에서 주요 초점이 될 것이다.
동시에 예상되는 광범위한 AI 발전의 불확실성과 방어 시스템 구축 필요성을 고려하더라도, 이것이 무모한 행보를 정당화하는 구실이 되어서는 안 된다. 이해관계의 중대성을 사람들이 제대로 깨닫게 되면 ‘무엇이든 희생해서 앞장서는 것(growing at all costs)’이라는 발상은 매우 터무니없이 들릴 것이다.
기계 지성이 자체 발전 과정에서 점점 더 중요한 역할을 담당하는 것은 지속적인 기술 진보의 필연적인 귀결이다. AI가 발전을 멈추지 않는다면, 기계의 재귀적 자기 개선은 미래의 과학적 발견 중심축이 될 것이다.
자동화 AI 연구는 컴퓨팅 파워를 통해 지성을 확장하는 보다 격렬한 형태이다. 물론 이 과정에서 AI는 계산 인프라 자체를 개선할 것이다. 스캐일링과 마찬가지로 OpenAI의 연구 초점을 재귀적 자기 개선에 둔 이유는 이것이 AI 연구 최전선을 지키기 위한 유일한 길이라고 믿기 때문이다.
앞서 언급한 내용이 심층 학습 연구, 특히 단기적인 연구 가속화를 학계 전체가 취해야 할 집단 행동으로 봐야 한다는 뜻은 아님을 강조한다. 하지만 현재 경로가 이와 같은 방향으로 흘러가고 있다는 점에는 동의하며, 우리가 어떻게 나아가야 할지 의식적으로 선택해야만 한다. 우리가 가진 주요 레버리지 두 가지는 다음과 같다. 첫째, 이 흐름을 주도하며 AI 발전과 동시에 정렬과 모니터링을 강화하고 인간이 지속적으로 관여할 수 있도록 하는 것. 둘째, 필요한 시기에 개발 속도의 조정된 감속을 조율하여 이러한 조치들에 대한 점진적인 신뢰를 구축하는 것이다.
내가 현재 보는 최고의 전진 방식은 이 두 가지를 결합하는 것이다.
우리가 정렬과 모니터링에서 거둔 구체적인 진전은 보통 AI의 전반적 발전과 깊이 얽혀 있다. 좋은 예로 인간 피드백 기반 강화 학습(RLHF)을 들 수 있으며, 이는 초기 AI 어시스턴트 훈련의 열쇠였다. 또 앞서 언급한 사고사슬 모니터링은 추론 모델의 발전 덕분에 가능해진 사례다. 우리는 점점 자동화되는 연구 과정이 이러한 새로운 통찰력, 알고리즘, 이론 개발에 집중하도록 해야 하며, 나아가 더 강력한 AI에 대한 안전성 입증(arguments)을 단계적으로 마련해야 한다.
AI 시스템의 확장은 우리의 안전에 대한 확신을 제약 조건으로 삼아야 한다. 우리는 Preparedness Framework나 Responsible Scaling Policy와 같은 약속들을 광범위하게 강제되는 지속적인 개발 안전 기준 선으로 발전시켜야 한다. 이러한 기준선은 제3자 감사 기관 네트워크, 정부 기관 또는 국제 기구에 의해 시행될 수 있다.
자동화 AI 연구의 핵심 과제는 ‘거기 도달하는 것’ 자체가 아니라, ‘특정한 방식으로 그곳에 도달하는 것’이다. 끊임없는 개선 과정 속에서 인간을 계속 머무르게 하고, 미래를 인간의 손에 쥐어주는 방식으로 말이다.
다음 단계는 무엇인가?
구체적인 시기를 예측할 수는 없지만, 우리는 AI가 여러 가지 핵심 측면에서 자체 발전을 촉진할 수 있는 시대에 빠르게 다다르고 있는 것처럼 보인다. 이는 곧 재귀적 자기 개선 단계로 진입할 수 있다는 의미다.
OpenAI 내부에서는 연구 우선순위를 조정하여 순수한 능력 확장보다 정렬과 방어에 더 많은 자원을 투입하기 시작했다. 이것이 내가 최대 규모의 모델을 무조건 추구하지 않고, 필요한 순간에는 일방적으로 일시 중단(pause)을 선택해야 한다고 강조하는 이유이기도 하다.
그러나 이러한 결정을 단지 몇몇 기업 내부 인물들에게 맡겨둘 수는 없다. 정부는 국제사회가 위험이 되돌릴 수 없는 상태로 되기 전에 개입해야 한다. 여기에는 최첨단 훈련 라운드를 모니터링하는 메커니즘 수립, 의무적 제3자 감사, 역량 임계값 이상의 국제적 합의 등이 포함된다.
이러한 조치들이 제때에 자리를 잡을 수 있을지 완전히 확신할 수는 없다. 때때로 좌절감을 느끼곤 하는데, 우리의 안전 조치들이 능률보다 뒤처지기 때문이지 앞서가기 때문이다. 우리는 마치 계속해서 뒤쫓기만 하는 듯한 느낌이다. 하지만 여전히 희망을 품을 이유는 있다: 2023년 그 밤, 우리는 이러한 가능성을 희미하게나마 감지했을 뿐이었지만, 오늘 날 그것은 공개적으로 논의될 정도로 명확해졌다. 이 자체가 이미 진전이다.
나는 모든 답을 알고 있는 체하지 않겠다. 우리는 인간의 마음과 근본적으로 다른 것을 만들어가고 있으며, 이 지성체는 얼마 지나지 않아 우리보다 더 강력해질지도 모른다. 이는 겸손함을 요구하는 생각이지만, 동시에 우리에게 기회를 제공한다: 우리의 최선인 가치관으로 그것을 형성해보라는 기회 말이다.
우리가 잘 해낸다면, 이는 인류史上最伟大的 업적일 것이다. 만약 잘못하면, 그것은 회복 불가능한 실패가 될지도 모른다.
미래를 인간의 손에 얼마나 오래 머물게 할 것인가는 향후 몇 년 동안 결정될 문제다.
다음은 무엇인가?
최근 샘(Sam)과 함께 공유했던 바와 같이, OpenAI가 우선적으로 추진하는 업무는 세 개의 북극성 목표에 부합한다:
자동화 AI 연구자를 구축하고 정렬 문제를 함께 반복 발전시키며, 사람들이 자기 개선 폐쇄 루프 내에 계속 참여할 수 있는 방법을 찾아냄으로써 AI 발전의 다음 단계를 극복하는 것.
초지능 기계가 가져올 수 있는 과학적 진보와 경제 성장의 편익을 해제하는 것.
모든 개인이 자신만의专属 AGI를 소유할 수 있도록 하는 것.
본 문서에서는 첫 번째 사항에 집중한다. 현재 가장 시급하다고 보기 때문이다. 그럼에도 불구하고, 나는 더 나아가는 기술 진보가 가져다줄 혜택에 대해 깊은 기대와 감사를 보내고 있다. 미래의 정렬된 AI는 과학을推進하고 새로운 치료법을 개발하며 광범위한 물질적 풍요를 안겨줄 것이다. 친선적이고 정직한 AI는 사람들이 삶의 어려움을 극복하도록 도와 실질적인 행복감과 만족도를 높일 것이다. OpenAI는 이러한 혜택을 실현하기 위해 막대한 노력을 기울이고 있다. 현재로서 나를 자랑스럽게 만들고 주변 사람들에게도 혜택이 되는 예시는 ChatGPT의 건강 정보 제공 능력에 대한 우리의 깊이 있는 투자다.
AI의 장기적 전망이 얼마나 훌륭하든, 우리의 대부분 주의력은 향후 몇 년 사이에 집중되어야 한다. 우리는 초지능 기계가 존재하는 세계로의 전환기에 직면해 있으며, 이 전환이 인간에게 유익하도록 확실히 해야 한다. 대부분의 작업이 AI로 수행될 수 있는 세상에서는 인간의 주체성(agency)을 보존하고 ‘인간으로서의’ 고유한 가치를 확립할 방법을 모색해야 한다. 권력의 과도한 집중을 방지해야 한다: 과거에는 수천 수만의 전문가가 필요했던 일이 미래에는 단 몇 사람이 대형 컴퓨터 하나만 조작해도 가능해질 수 있다. 또한 인간이 항상 미래를 주도할 수 있도록 보장해야 한다. 우리 자신을 초월하는 외부 지성체의 통제 불가능한 진보 뒤에 남겨지지 않도록 말이다.
현재로서는 아직 어떤 실험실도 정렬과 모니터링의 해결 수준이 최고 속도로 책임감 있게 확장할 수 있는 긴 시간의 여유를 줄 만큼 충분하지 않다고 본다. 공동의 안전 기준선이 마련될 때까지 자발적인 개발 감속이 일상화되기를 기대하며 바란다. 또한 미래 AI 발전에 관한 국제적 조율이 각국 정부의 최우선 과제가 되어야 한다는 점에도 공감한다.
각주
1 여기에는 셀프 플레이(self-play)의 확장, 로봇 기술, 그리고 후에 보아 가장 중요했던 항목인 언어 모델링을 위한 순환 신경망(RNN) 확장이 포함되는데, 이는 GPT 시리즈 연구의 토대를 마련했다.
2 이러한 디자인의 부차적인 이유는 지식 증류(knowledge distillation)를 방지하기 위함이다. 하지만 전체 개발 기간 동안 사고사슬의 모니터링 가능성을 유지하는 것은 언제나 우리가 명확히 했던 더 큰 최우선 과제였다.













