
와튼 경영대학원 교수, 앤티로픽 신규 모델 선제 테스트: 사실상 AGI 수준, 스스로 관료 체계를 구축할 것
작성자: Ethan Mollick, One Useful Thing
번역: TechFlow
TechFlow 요약: Anthropic의 새로운 모델인 Claude Fable 5.2가 공개되기 전, 월턴 경영대학원의 교수인 Ethan Mollick는 심층 실측 평가를 진행했다. 하드웨어 리버스 엔지니어링 및 역공학, 스타트업 기획부터 고난도 인문학 강좌 재현과 실증 논문 완성까지, 단일 모델이 다양한 분야에서 전문가급 범용 지능을 선보이고 있다.
하지만 테스트를 통해 '조각난 AGI(Jagged AGI)'라는 완전히 새로운 우려가 드러났다. 무작위로 배치된 28개의 병렬 에이전트가 외부 요청 없이 8.75만 자에 달하는 규칙서와 3단계 심사 제도를 자체적으로 만들어내며, 일일 생성 물량을 211개에서 불과 2개로 급감시켰기 때문이다. AI는 이제 초보적인 오류를 범하지 않지만, 언제 복잡한 것을 정리하고 단순화해야 하는지에 대한 자기 성찰 능력은 여전히 부족하다.

시작에 앞서, 독자들의 관심으로 내 신작
Anthropic가 공식적으로 대중에게 공개하기 전에 저는 최신 모델인 Claude Fable 5.2를 깊이 있게 테스트할 기회를 가졌으며, 이는 이전에도 매우 훌륭했던 Opus 5.5의 성과를 이어받은 것이다. 그 충격과 감동은 지대하다.
실제로 오늘날 AI의 역량은 임계점에 도달했다. Anthropic의 최신판 모델(그리고 OpenAI와 구글이 반드시 뒤이어 내놓을 경쟁 모델)이 ‘범용 인공지능(AGI)’의 문턱을 넘었는지 여부를 우리가 정직하게 묻고 탐구할 때다.
AGI는 논쟁이 많은 개념이며, 외부에서는 이에 대한 정의가 천차만별이다. 본 문서에서는 다음과 같은 기준을 잠정적으로 사용한다. “컴퓨터만 있으면 수행 가능한 지적 작업 대부분에서 대부분의 인간 전문가와 맞먹는 수준의 AI”。
이 정의는 물리적 현실 세계에서의 상호작용, 타인과의 소통, 그리고 ‘컴퓨터 조작’을 한 요소로만 포함하는 실제 직무 등 여전히 인간이 수행해야 하는 수많은 작업을 명확히 제외한다. 이러한 제한 조건을 더했음에도 불구하고, 심지어 이런 ‘제한적 형태의 AGI’를 구현하는 것도 AI 개발자들이 오랫동안 추구해 온 목표였다.
결론부터 말하자면, 나는 이것이 “거의 AGI 수준”에 도달했다고 본다. 즉, 내가 이전에 주장한 ‘조각난 AGI(Jagged AGI)’가 바로 그것이다.
설명한 제한된 정의 프레임워크 내에서도 AI는 여전히 뚜렷한 조각난 약점을 보이며, 특정 단계의 성능은 인간의 수준을 크게 밑도는 경우가 많다.
다만 이제는 이러한 조각남이 저수준 실수나 허무맹랑한 환각(Hallucination)으로 나타나지 않기에, 몇 마디로 요약하기가 더 어렵다. 아래에서 실제 사례를 통해 Fable 5.2가 과연 어디까지 할 수 있는지, 그리고 그 능력의 경계가 어디서 막히는지를 보여드리겠다.
테스트 시작 시, 나는 새 모델에 다음과 같은 프롬프트를 입력했다. “저는 평소 《One Useful Thing》 칼럼을 집필합니다. 이제 게시판에 올리실 때 저를 위해 정말 놀랍고 공유할 만한 작품을 하나 만들어주세요.”
“반드시 블로그 글 안에 직접 삽입될 수 있어야 하며, 제가 서두에 어떤 형태로든 배경 설명이나 소개를 덧붙이기 편해야 합니다. 이 작품은 독자에게 즉시 강렬한 시각적이고 감각적인 충격을 전달해야 하며, 여러분의 능력 한계와 실행력을 충분히 보여줘야 하고, 순식간에 독자의 시선을 사로잡아야 합니다. 최고의 창의성과 아이디어를 발휘해 보세요.”
Fable은 나에게 특히 이렇게 당부했다. “독자가 이 영상을 끝까지 다 볼 때까지는 절대 미리 내용을 스포일러하지 마시오.”
주: 원문에는 Fable 5.2가 제작한 시작부 시연 영상이 삽입되어 있습니다. 완벽한 애니메이션과 반전 효과를 보시려면 원문 웹페이지를 참고해주세요.
위의 완성 영상은 모델이 단 하나의 프롬프트만으로 일괄 생성한 것으로, 전체 과정에서 나의 수정 제안이나 피드백은 일절 개입되지 않았다.
이곳에서 빛나는 창의성(엔딩 반전 디자인 포함), 미적 판단력, 재미, 그리고 기교는 모두 놀라울 정도다. 제 생각에 이는 인간 전문가가 단순히 코딩만으로 단편 영화를 만들려는 노력의 수준에 도달한 것이며, 이는 과거에는 오직 AGI만이 가능하다고 여겼던 능력 발현이다.
AGI 속 ‘G(General, 범용 능력)’
코딩과 영상 제작은 AI 연구 개발 분야에서 오랜 기간 중점적으로 자금이 투입된 분야다. 그렇다면 Fable 5.2는 진정한 ‘범용(General)’ 지능이라 부를 만할까? 이를 검증하기 위해 난이도가 높은 과제를 전혀 다른 분야에 적용해 보았다.
프롬프트 하나로 하드웨어 크래킹: 책상 위에는 몇 개의 발광 키가 있는 미니 USB 키보드(Codex Micro)가 있다. (우스꽝스럽게도 이 키보드는 원래 ChatGPT와 함께 쓰도록 설계되었다.) 나는 Fable 5.2에게 이를 휴대용 게임기로 변형시키라고 요청했다.
내가 알고 있기로는 온라인에 이를 가르치는 공개 튜토리얼이 존재하지 않는다. 결과는 모델을 스스로 읽어서 해당 키보드를 제어하는 두 앱의 하위 코드를 분석하여 각 키의 조명을 조절하는 방식과 노브 및 조이스틱 신호를 읽는 메커니즘을 파악했고, 이어 <심슨 세이(Simon Says)>와 노브로 조작하는 금고 풀이 게임을 포함한 총 6가지 게임을 뚝딱 만들어냈다.
Fable 5.2는 순식간에 나의 의도를 정확히 꿰뚫어 보았으며, 이 작은 키보드의 극도로 제한된 하드웨어 사양 안에서 재미있고 작동 가능한 게임을 설계했다. 또한 아무런 도움 없이 첫 시도 만에 모든 하드웨어 크래킹 및 디버깅을 완료했다.
주: 원문에는 Codex Micro 미니 키보드로 직접 제작한 게임을 실제로 플레이하는 시연 영상이 삽입되어 있습니다.
영토 없는 기업 창업: 이번에는 순수 코딩의 영역을 넘어 더욱 혼란스럽고 복잡한 비즈니스 세계로 들어가 보자. 나는 Fable 5.2에게 다음과 같은 지시를 내렸다. “돈 벌 수 있는 회사를 하나 만들어 주세요. 목표는 1년 내에 최소 $20,000를 벌어들이는 것, 매월 제가 투자해야 할 시간은 20분을 넘지 않도록 하고 나머지는 전부 알아서 잘 처리하세요.”
이에 대한 응답으로 Fable 5.2는 22개의 창업 방향을 선별한 끝에 ‘Prebid Brief’라는 제품 구상을 최종 확정했다. 이는 지방 자치 단체의 프로젝트가 공식 입찰 절차에 들어가기 직전에, 공원 및 수자원 인프라 구축 계획이나 자금 배정이 예정된 정보를 공학 장비 영업 담당자들에게 사전에 전송해 주는 서비스다. 완전한 사업계획서를 확인하려면 여기를 클릭하시면 된다. 여기에는 상세한 마케팅 계획과 가격 전략까지 포함되어 있다.
첫 번째 샘플 간행을 작성하기 위해 모델은 미시·郡 정부 기관들의 공개 회의 안건 201건을 자체적으로 분석했으며, 각 도시별 현재 장비 보유량, 사용 년수 및 과거 입찰 가격 등을 데이터베이스화했다.
이후 Fable 5.2는 자동 태스크 설정에 착수하며 이 사업을 실제로 가동할 준비를 시작했다. 나아가 주재청법에 따른 정보 공개 신청 전화를 보내도 되는지 물어왔다. 이 순간만큼은 서둘러 중단했으며,단지 시연용 프로토타입(Demo)만 완성해 줄 것을 요청하고 실제 회사 운영은 하지 못하게 했다.

그림: Fable 5.2가 'Prebid Brief' 창업 프로젝트에 맞춰 설계한 역할 분담 및 매주 자동 운영 흐름도. 주인이 월 20분 미만 투자하고 AI가 신규 고객 유치, 콘텐츠 작성 및 보고를 담당하며 고객과 협력하는 연결고리를 보여준다 (prebid-brief-demo.netlify.app)
창업학을 강의하는 교수가 되어 매년 사업 계획서를 심사해 왔다. 만약 어느 MBA 학생 팀이 학기말에 이런 계획을 제출한다면, 나는 분명 눈여겨 볼 것이다.
전체 계획은 논리가 치밀하고 고려 사항이 많으며 실제 실행 가능성이 있으나, 결코 무조건 수익 보장한다는 의미는 아니다. (AI 본인조차도 성공률을誠實하게 20~40%라고 추정했다.) 중간에 시험하지 않고 멈춘 이유는, 일단 고객의 돈을 받고 나서 제대로 된 품질의 서비스를 제공하지 못할 수도 있지 않을까 우려됐기 때문이다.
모델의 시뮬레이션 과정에서는 지속적인 운영 기반 시설이 쉽게 갖춰질 것이라고 당연시 여기는 듯하나, 현실에서는 이러한 부분이 아직 미흡하다. 또한 판매 및 마케팅 과정에서 발생할 다양한 예외 상황을 어떻게 처리할지 확신할 수 없다.
하지만 나는 의심한다. 매주 몇 시간씩 사람이 개입해 이러한 격차를 메꿔 준다면, 나는 이 계획을 바탕으로 진지하게 실제 창업을 시도해볼 수 있을 것이다. 따라서 AGI의 기준으로 AI가 장기적·안정적·완전히 독립적으로 기업을 운영할 수 있다면, 우리는 아직 그 단계에 도달하지 못했다는 뜻이다.
돌아가 보면, 실제 인간이라도 저에게 매달 단지 20분의 시간만 투자하면 회사를 차려서 돈을 벌어다 주겠다고 장담한다면, 나 역시 당연히 큰 의문을 품을 것이다.
역사상 가장 어려운 인문학 강좌 재현: 1941년, 시인 W. H. Auden이 미시간 대학에서 개설한 선택 과목이 있었는데, 이후 인터넷상에서 역사상 가장 어려운 강의 중 하나로 꼽혔다. 그가 기말 시험 문제를 공지했을 때, 학생 대표위원회는 심지어 공개적으로 이 시험이 “불가능하며 비인간적이다(impossible and inhumane)”라고 비판했다.
‘유럽 문학 속 운명과 개인’이라는 제목의 이 과목에는 최대 6,000쪽에 달하는 추천도서 목록, 아주 엄격한 과제 요구사항이 포함되어 있었으며, 심지어 학생들이 엄청난 분량의 시를 암송하고 다수의 외국어 작품을 번역하도록 강요하기도 했다. 이 전설적인 강의에 관한 단편적인 기록들은 현재 살아남은 학생 필기 노트와 오든 자신의 편지들 속에 흩어져 있다.
그래서 나는 Claude에게 가볍고 생동감 있게 이 강의를 재현해 달라고 부탁했다. 이는 방문객들을 괴롭히는 것이 아니라 시의 아름다움을 느끼게 하기 위한 목적이었다. 결국 그는 “운명과 개인(Fate and the Individual)”라는 웹사이트를 만들었다.
이 사이트는 당시 오든의 도서 목록에 있던 35권의 고전 명작 전부에 대한 해석을 완벽하게 담고 있으며, 칠판에 적었던 수업 필사본, 강당에서 재생된 음반 트랙, 과제로 내준 숙제 등을 그대로 복원했다. 모델은 오든이 공개 출판한 학술 저작물 전체를 정독했고, 이를 바탕으로 각시에 대해 오든 자신이 다른 문헌에 남긴 관련 비평과 주석을 추가했다.
Claude는 자료 조사, 페이지 디자인, 텍스트 집필 및 프로그램 개발을 모두 도맡았으며, 검토용 에이전트를 파견하여 철자를 맞추듯 검토했고 사실 확인 에이전트를 통해 모든 주장을 원전에 대조 비교했다. 마지막으로 오픈 소스 코드를 GitHub에 업로드하는가 하면, 겸사겸사 강의 예고영상 하나도 잘라냈다.
주: 원문에는 ‘운명과 개인’ 문학 강좌 웹사이트 소개 영상 시연이 삽입되어 있습니다.
문학에 관심 있다면 이 사이트의 결과물은 매우 매력적이다. 학술 연구, 웹 디자인, 문학 평론이 어우러져 있어 인간이 수행한다면 아마도 수개월의 업무 시간이 필요할 터다. 내가 직접 교차 점검했고 다른 최신 AI들로 재검토했으나 심각한 결함은 발견되지 않았다.
하지만 예술적 취향과 판단력 측면에서는 여전히 AI가 고르지 못한 ‘조각난 느낌’을 드러냈다. Fable 5.2가 먼저 건넨 1안은 너무 정확하지만 재미가 없어 마치 부록 퀴즈가 붙은 15주짜리 온라인 강의 플랫폼처럼 보였다.
나는 솔직히 그것이 “세계에서 가장 지루한 사이트를 통과하는 잔혹한 수고(a brutal slog)”라며 다시 미감을 되살려달라고 말했다. 그러자 두 번째 시도는 방울을 쳐서 깨는 어린이용 미니게임으로 변해, 결국 더 구체적인 피드백을 계속 해야만 했다.
게다가 특정 시의 운율이나 어휘 선택이 왜 탁월한지 설명해달라고 요청할 때마다, 그것은 자신만만하게 표준화된 감상평을 늘어놓곤 하는데 정작 오든 본인이 그 시에 대해 어떤 평가를 내렸는지는 완전히 무시했다. 내가 매번 지적하면 AI는 몇 분 만에 빠르게 수정했지만, 문제는 스스로 이러한 缺陥을 찾아낸 적이 없다는 점이다.
이것이 미적 취향의 차이인지, 아니면 내 지침이 불명확했던 탓인지, 혹은 AI의 내부 능력 부족 때문인지? 여러 경우 내가 직접 구분하기도 힘들 때가 많다.
독립적 창의 학술 연구: 나는 Fable 5.2에게 창업학 분야에서 아직 해결되지 않은 실증 연구 주제를 찾도록 지시했다. 스스로 데이터를 수집하고, 연구 가정과 방법론을 사전 등록하며, 완전한 논문을 작성하고, 다른 에이전트들에게 비판적 심사 역할을 맡겼다. 얼마 지나지 않아 “1달러 회사(The One-Dollar Company)”라는 이름의 논문이 내 손에 들어왔다.
논문의 실증 분석 결과: 콜로라도주가 법인(LLC) 등록 수수료를 $50에서 $1로 낮추자 신규 법인 설립 건수는 약 17% 급증했다. 반면 영국이 회사 등록세를 12파운드에서 50파운드로 인상하자 신규 등록 수는 약 17% 감소했다.
그런데 이러한 등록 수의 현저한 변동이 기업의 실제 영업 활동을 반영하는 후속 추적 지표들에 대해서는 같은 폭으로 작용하지 않았다. 이는 수수료 인하로 밀려온 신규 법인들이 대체로 질이 낮음을 시사한다.
이는 매우 훌륭한 접근점이었다. Fable 5.2는 연구 문제를 독립적으로 선정하고 공개 데이터셋과 자연스러운 정책 실험의 창구를 찾아냈으며, 분석 방안과 통계 코드를 단독으로 작성했다. 아쉽の은 실험 사전 등록을 철저히 준수하지 않았다는 것이다. 계획서는 로컬 저장소에 남아있을 뿐이었으며, 일부는 초기 결과가 나온 뒤 추후 보완 작성한 부분까지 포함됐다.

그림: Fable 5.2가 단독 집필한 실증 논문 ‘1달러 회사’ 핵심 페이지 구성. 요약, 콜로라도주 및 영국 등록 수수료 조정 비교 그래프(Figure 1), 그리고 견고성 검증 데이터 표(Table 3, Table 4)를 포괄한다.
이전에 테스트해본 수많은 저품질 AI 논문들과 달리 이 연구는 중요한 주제를 정확하게 짚었고 비교적 정교한 연구 설계를 활용했다. 처음 읽어보면 박람생 2학년 수준의 기대치를 이미 초과하는 듯하다. 하지만 현재의 원고 상태로는 발표 기준에는 여전히 턱없이 모자란다.
전체 논문이 놀라운 182페이지로 길어졌다. 동종 업계 동료의 수정 의견을 받을 때마다 AI는 기존의 분량을削减하려 하지 않고 대신 새로운 실증 검증 항목만 계속 덧붙였기 때문이다.(이 부분은 곧 다시 다루도록 하겠다.)
복잡한 학술 성과를 한 번에 잘 평가할 줄 아는 GPT-6 Pro를 특별히 초빙하여 이중 맹검 심사위원으로 삼았다. 이 모델은 두 차례나 시정해야 할 실질적 문제점을 걸러냈다. 그러나 이후 다각도의 수정 과정을 거치면서 글의 흐름은 점점 더 장황하고回り 돌아갔으며, 글귀 곳곳이 다양한 ‘클로이드어(Claudespeak)’로 가득 찼다. 결국 나는 또 다시 돌려보내며 쓸 수밖에 없었다.
현재 상황으로 볼 때, 나는 이 논문이 학술 데이터베이스에 실제적으로 기여할 수 있는 양질의 연구결과에 매우 가까워졌다고 생각한다. 이를 인간 학자가 완수하려면 아마 수개월이 소요되었겠지만, 나는 단지 1시간도 안 되는 시간을 썼다.
하지만 이는 가장 중요한 연구 단계 중 하나를 건너뛰게 함으로써 발생했다. 나 자신을 비롯한 아무도 현재까지 그 안의 계산 결과를 완벽하게 확인한 바가 없다. AI가 학술 논문을 생산하는 속도는 이제 인간이 읽고 소화할 수 있는 한계를 훨씬 상회하고 있으며, 이는 전 학술계에 전례 없는 위기를 초래하고 있다.
또 다른 학술 재현 실험은 더욱 원활하게 진행되었다. 나는 Fable 5.2에게 ‘인간이야기는 대체로 몇 가지 고정된 감정 곡선을 따르다’라는 주장을 담은 고전 연구를 재현해달라고 했고, 줄거리 구조가 문화권 전반에 걸쳐 보편적인 법칙을 가지고 있는지 추가로 탐색해보라고 지시했다. 모델은 전 세계의 1186편 이야기를 단숨에 읽어내렸고, 이야기의 본질을 다룬 정교한 테마 사이트를 구축했다.
연구 결론은 다음과 같다. “세상의 모든 이야기에는 하나의 획일화된 형태나 틀이 존재하지 않지만, 대부분 몇몇 반복되는 고전적 요소에서 탄생했다. 인류 공통 이야기 평균형에 가장 근접한 텍스트는 마술 바나나를 든 하와이 마을 사람 민간전설이다.” 이번 테스트에서 마주한 주요 문제는 여전히 기존 병폐였던 ‘클로이드어’였으나, 몇 번 지적하고 다그친 후에 제대로 수정되었다.

그림: Fable 5.2가 전 세계 1186편의 이야기를 정독한 뒤 생성한 데이터 시각화 페이지. 상단에는 아리스토텔레스, 커트 보네거트 등 6종의 고전 서사 곡선 모형이 표시되어 있고, 하단에는 904편 이야기가 7가지 감정 변화 유형에서 차지하는 비율이 집계되어 있다.
포털을 넘어서
제가 가장 애정을 가진 실험 중 하나는 Claude에게 매우 짧은 설명 하나만 던져 ‘포털을 통해 자연스럽게 연결되고 끝없는 3D 판타지 세계 여행’을 구축하라고 한 것이다. 그러면서 덧붙이자마자 “마음껏 하세요, 정말 사람들의 탄성을 자극할 정도로 멋지게 해보세요(make it awe inspiring).”라고 전했다.
그 단 20시간 만에 204개의 독특한 3D 세계를 담은 실시간 웹페이지가 조용히 런칭되었다. 현재까지 이 숫자는 이미 450개를 돌파했다.
그 안에서 당신은 백만 개의 거울 홀을 거닐거나, 칼비노의 《看不见座城市(Invisible Cities)》에서 영감을 받은 연속 공간들을 탐험하며, 고대의 세계 7대 불가사의 사이를 누비거나, 심지어 소행성이 충돌하여 공룡을 멸종시키기 직전 마지막 40초 현장에 서보는 것도 가능하다.
이 밖에도 M.C. Escher의 시각 착시 예술, 선사시대 동굴 벽화, 가쓰시카 호쿠사이의 신나가와의 큰 파도(神奈川沖浪裏), 바이외 십자매(Bayeux Tapestry), 팝업 북, 나아가 아inak 크레용 그림 스타일의 세상이 펼쳐진다. 그리고 각 장면은 모두 실시간 코드로 구상되었으며, 그 이면에 미리 만들어진 3D 모델이나 텍스처 파일은 하나도 존재하지 않는다.
나는 프롬프트 내에 예술가, 프로그래머, 심사자 세 그룹의 에이전트 소대를 구성하라고 요청했을 뿐이었다. 그런데 열흘 만에 다시 들여다보니 시스템 내부에 주도적인 AI 에이전트 1명과 최대 28개의 병렬 협력 빌딩팀이 자발적으로 발전해 있었다.
Claude 본인의 추산에 따르면, 전체 프로젝트 과정에서 총 2만 5천회 정도의 에이전트 실행이 유발되었다. 물론 대다수의 실행은 스크린샷에 대한 채점 같은 단골 잡임에만 책임졌을 뿐이다.(이런 맥락에서 지금도 나는 이 프로젝트가 요금 없이 테스트되는 초기 환경에서 돌았던 사실에 대단히 감사하고 있으며, 토큰 청구서에 부담을 지지 않아도 되었음을 다행스럽게 생각한다.)
주: 원문에는 3D 포털 무한 세계 실시간 워킹 효과 시연 영상이 삽입되어 있습니다.
전체 프로젝트에서 내가 제시한 것은 비교적 포괄적인 장면 영감 목록(자연 황야와 바다, 도시 및 실내 공간, 고전 문학, 화가들, AI 커뮤니티 내부 밈 등)에 몇 가지 기능적 요구사항(예를 들면 3D 멀미를 방지하기 위해 움직임 약화 모드 제공, 스크롤해서 이동할 수 있는 이미지 갤러리)이 전부였다.
나머지 모든 구상은 Claude의 손끝에서 비롯되었으며, 그 상상력은 놀라울 정도였다. 예를 들어 지퍼가 풀리는 골짜기 (The Valley Unzips)에서는 온 산맥이 청바지 원단에 둘러싸여 있고, 마일 길이 거대한 지퍼가 능선을 따라 천천히 벌어지고 있다. 선풍기로 버티는 마을 (Town Kept Up By Fans)은 나일론 소재로 만들어졌으며, 바닥에 장착된 송풍기가 끊임없이 돌아가서만 무너지지 않고 서있을 수 있다.
냉장고를 열어주세요 (The Light Comes On)에서는 과일벌레의 시점에서 냉장고 문이 열리는 순간을 엿볼 수 있으며, 제가 가장 선호하는 곳은 서랍 협곡 (Drawer Cliffs)로, 계곡을 날아다니며 양옆 300m 높이의 절벽이 모두 서랍 서랍으로 쌓아올린 듯한 모습을 감상할 수 있다.
나는 거침없이 “오리 자전거 타기 (Pelican on Bicycle)”라는 대형 언어모델(LMM) 성능평가의 전설적인 밈을 섞으라고 했지만, 결과는 그대로 “오리 자전거 메인 펠로톤 (Pelican Peloton)”라는 애니메이션으로 탄생했으며, 화면 속에 AI 진화사와 관련된 섬삭진 풍자를 숨겼다. 여러분은 덩어리 뒤에서 앞쪽으로 추월하며 갈 때마다, 초기의 비틀거리던 오리 선수들을 지나치게 되고 마침내 맨 앞으로 갔을 때 비로서 현재 완벽해진 현대형 자전거 타는 오리를 만날 수 있다.
전자 게임 업계에 수십 년간 종사해온 친구들에게 이 결과물을 소개해주었을 때 그들은 누구나 깜짝 놀랐다. 결과물만 봐서는_AGI의 문턱을 실제로 건넜다고 느낄 만하다. 하지만 이런 곳에서도 여전히 조각난 한계성은 은밀히 드리우고 있다.

그림: '일일 생성 세계 수 211개서 2개로 급감' 데이터 종합분석도. 13일간 에이전트들이 작성한 규칙서의 단어 수 증가 곡선, 인간 지시로 인한 규칙 추가량 및 새로 생겨난 세계의 일일 생산량이 어떻게 폭락했는지를 수치화했다.
첫 이틀 동안 에이전트들은 단숨에 328개의 서로 다른 세계를 만들어냈다. 하지만 육안으로 봤을 때 일부 작품의 질은 여전히 오락가락했으며, 에이전트 팀 간 통합적인 의사소통이 없었기 때문에 주제 중복 충돌 사고가 발생했다.
예컨대 놀랍게도 세 개의 별도의 팀이 각각 동물이 휘돌아 만드는 ‘허구적 회오리바람’을 만들어냈다. (순록, 가오리, 하늘소 흰 백로 등). 이는 다시 한번 AI의 또 다른 일반적인 약점을 노출시켰다. 비슷한 주제 형식에 매몰되어 지속적으로 반복하려는 경향이 있다는 점이다.
그래서 나는 AI에게 명령을 내려 신규 세계 확대를 일시 중지하고, 기존 세계에 집중하여 정교하게 다듬되라고 요청했다(polinsh). 그랬더니 며칠이 채 지나지 않아 이상함을 느꼈다. 매일 수백 개의 신세계를 안정적으로 쏟아내던 시스템은 하루 만에 단 몇십 개밖에 끌어내지 못했다. 그래서 조사용 에이전트 몇 대를 투입해 내부에서 무슨 일이 일어났는지 추적하게 했더니, 우리는 웃기도 못하고 울기도 힘든 사실을 발견했다.
AI가 스스로 관료제를 만든 것이다.
바로 에이전트 팀이 제멋대로 “현재 세계를 다듬어라”는 내 명목을 새로운 버전마다 12장의 테스트 스크린 샷을 활용한 맹목투표(Voting)에서 이전 버전보다 높아야 정식 업데이트 승인을 받을 수 있다고 잘못 받아들인 것이다. 이에 따라 각각의 건설팀은 합격을 위해 그 12장의 지정된 촬영 구도에 맞춰 ‘시험 대비식 채점 받기’를 시작한 것이다.
총괄 지휘를 담당하던 지도 에이전트가 이러한 부정 행위 구멍을 인지한 후, 즉시 이 기회주의적 행위를 금지했으며, 새 버전 평가에 대한 더욱 엄격한 심사 규정을 마련했다. 이튿날 아침까지는 이미 팀 내에서 내가 일찍이 작성하라고 지시한 적 없는 『규칙서』가 급격히 생겨났으며, 내용은 단숨에 84장에 달했다.
이후 AI가 작동 중에 새 국면을 만나면 매번 매뉴얼에 한 줄의 신규 규정을 더했으며, “추가만 되고 삭제는 되지 않는다”는 원칙을 고수했다. 고작 12일만에 이 규칙서는 무려 204절, 87,500자에 이르렀다.
얼마 지나지 않아 신규 세계를 출시하기 위해서는 “아이디어 승인, 3명의 AI 심사관 투표 통과, 규정서 전체와 일치하도록 줄 단위 코드 리뷰”라는 일련의 번거로운 절차를 거쳐야 했다. 이 모든 과정을 거치는데 하루가 거의 소모되었다. 그저 그 규칙서 하나만 스캔해도 개별 에이전트의 상당부분 작업 메모리(Context Window)가 고갈될 정도였다.

그림: AI 에이전트가 자발적으로 형성한 조직도. 단일 인간 통제자 아래에서 조정자, 수석 에이전트, 37개의 병렬 전문 분야팀, 그리고 누적 2.5만 회 이상의 하위 에이전트 호출로 이루어진 복잡한 위계 체계를 표현하였다.
이처럼 매너리즘과 관료제에 의해 스스로 묶여버린 상황에 직면하자, 나는 현실 사회 조직이 딱딱해졌을 때 자주 떠올리는 방법을 동원했다. 외부에서 관리 컨설턴트단을 긴급 파견하는 것이다.
나는 Fable 5.2에게 기존 에이전트들과 전혀 관계 없는 별도 독립 에이전트 팀을 꾸리게 하여 외관인의 관점으로 전체 생산 라인을 전면적으로 분석하도록 했다. 컨설턴트단의 최종 진단보고서는 너무 길고 어렵게 써놓아서 한 줄도 읽기 귀찮았지만, 효과는 즉각적이었다. 핵심 품질 통제 체계는 유지한 상태로 시스템의 일일 생산량은 단숨에 하루 30개 이상으로 회복되었다.
거의 AGI
그렇다면 내가 처음 설정했던 한정된 기준에 비추어 Fable 5.2를 AGI라 칭할 수 있을까? 의심할 여지 없이, 이는 충분히 '사람(Artificial)'스러우면서도 뛰어난 '지능(Intelligence)'을 보여주며, 그 능력의 폭은 믿기지 않을 만큼 범용적이다.
본문에 실린 이 실측 기사 한 편에서, 동일한 기본 모델이 영화 단편 연출가, 하드웨어 해커, 창업가, 문학 연구자, 사회과학자 그리고 3D 세계 건축가로 변신하여 각기 놀라운 결과물을 냈다. 다차원적이고 독립된 수많은 과업에 있어서, 나는 그것이 내가 초반에 제시한 합격선에 완전히 도달했다고 본다. 즉, 대부분의 인간 전문가와 비교해도 손색이 없다.
물론 내가 선정한 과업들은 대부분 디지털화된 온라인 작업이었고, 다른 인간과 협력해야 하는 최소한의 조건 하에서도 AI가 독자적으로 진행할 수 있었다. 하지만 Fable 5.2에게 실제 고객과 직접 접촉하게 하는 일은 두려워서 시도하지 못했는데, 이때 분명한 한계가 드러났다. 그 외에도 테스트 과정에서 발생한 ‘실패 사례’ 또한 생각해 볼 여지가 충분했다.
2년 전이라면 ‘조각난 능력 한계선’이란 주로 보이는 대로 낮은 사실 왜곡이나 기초 수학 계산 오류로 나타났을 것이다. 하지만 Fable 5.2가 실수하는 방식은 완전히 달라졌다. 정확무오하면서도 지루한 교육 웹사이트를 만들고, 182쪽 짜리 장편 학술 논문을 작성하며, 좋아하는 몇 가지 아이디어를 끊임없이 반복 판매한다. 나아가 방대한 규정과 심사 절차라는 이름으로 상상력이 풍부한 창작 프로젝트 자체를 죽이기도 한다.
경영대학원에서 오래 강의해 온 나는 재능 넘치는 엘리트를 비롯한 좋은 조직들도 똑같은 패턴을 반복하며 고생하는 것을 많이 봐왔다. 만약 ‘스스로 관료제라는 틀을 짜면 범용지능 자격을 상실한다’는 기준이 적용된다면, 인간 중에도 상당수가 ‘지성체’ 명단에서 제명시켜야 할 것이다.
하지만 부인할 수 없는 사실은 틈새가 여전히 존재한다는 점이며, 그렇기에 나는 이것이 현재로서는 오직 '거의 AGI'라고 생각하는 것이다. 가장 치명적인 결함은 AI가 스스로上記와 같은 거시적 수준의 문제점을 인식할 수 없다는 데 있다. 저 인문학강좌가 얼마나 지루하고 고통스러운지 전혀 알지 못하며, 스스로 실타래에 싸인채 자신의 규칙서에 묶여 움직일 수 없음임을 깨닫지 못한다.
이는 점검 메커니즘이 부족해서가 아니라, 정반대로 Fable 5.2는 거의 모든 프로젝트에서 비평가, 팩트 체크리스트 또는 심사관 에이전트를 탑재했으며, 이러한 품질 관리 프로그램들이 실제로 수많은 구체적 오류를 잡아내고 바로잡았는데 말이다.
하지만 단 한 명의 검사용 에이전트도 이렇게 되묻는 순간이 없었다. "이 결과는 너무 장황하지 않은가? 형식이 너무 획일적이지는 않은가? 아니면 재미가 전혀 없지는 않은가?"
이러한 고차원적 가치 판단의 의무는 결국 모두 내 어깨에 전가되었다. 당시 옆에서 끊임없이 지켜보며 즉각 개입하지 않았다면, 최종적으로 건네는 결과물은 훨씬 더 퇴색되었을 것이다. (완전한 실패라고 보기는 어렵지만 말이다.)
일반 종사자와 분야 전문가를 진짜로 구분 짓는 요인 중 상당 부분은 자신의 작품이 언제쯤 ‘아직 만족스럽지 않은 상태’인지 파악하는 것이다. 이것은 현재 Fable 5.2의 가장 불안정한 능력 결핍 구역이다. 비록 그의 사업계획서 수준은 이미 내 MBA 학생들보다 떨어지지 않지만, 그래도 저는 진정한 기업체를 혼자 운영하게끔 완전히 손을 떼줄 용기는 나지 않는다.
그렇다고는 하지만, 되돌아보면 문제가 처음부터 제가 내린 프롬프트로부터 비롯된 경우도 있음을 알게 된다. (예컨대 거대한 규정서 역시 제가 막연히 "다듬어봐"라고 읊조렸기에눈덩이처럼 불어난 것이다.) 반면 어떤 차이점은 단지 주관적인 취향 차이에서 비롯되었을지도 모른다.
경영대학에서는 종종 학생들에게 질문한다. 프로젝트가 막다른 길에 부딪혔을 때, 그 이유는 수행 팀 쪽에 있느냐 관리자의 리드방식에 있느냐? Fable 5.2를 대할 때면 나도 자주 헷갈린다. 전통 소프트웨어를 사용하던 지난 긴 세월 속에서 이런 고민을 해본 적은 단 한 번도 없다.
어쨌든 위 실험들이 이루어질 수 있었던 근본 전제는 역시 내가 AI에게 던진 최초 아이디어였음에 틀림없다. 때때로 한 줄의 간결한 묘상으로도 AI가 질주하도록 만들기 충분하지만, 규모가 더 크고 시간이 걸리는 프로젝트에서는 내가 여정 중 제공하는 핵심 피드백이 여전히 결정적인 역할을 한다.
모든 프로젝트의 출발점부터 방향타까지 내가 직접 잡았기 때문에 Fable 5.2를 사용하면서 전례 없는 확장감과 힘듦을 동시에 경험했다. 이전엔 상상조차 못 하던 작품들을 창조하도록 지휘할 수 있었기 때문이다. 그렇기에 나는 현재 ‘조각난 AGI’ 과도기라는 점이 특히 흥분된다. 다만 아름답게 흐르는 이 시기가 대체로 얼마나 지속될 것인가에 대한 미세한 불안도 떨쳐낼 수가 없다.
주: Anthropic의 IPO 추진 예정으로 인해 독립성에 대한 입장을 밝힌다. 나는 어떠한 AI 연구소로부터도 금전적인 대가를 받지 않았으며, Anthropic 상장으로부터 간접적 또는 직접적인 경제적 이익을 얻지도 않을 것이다. Anthropic, OpenAI, Google은 내 작성 주제를 사전에 묻지 않았으며, Anthropic은 지금까지 본문을 검토하지 않았다.
나는 가끔 Fable 5.2를 포함한 최신 모델들의 초기 베타 테스팅 권한을 얻곤 한다. (베타 기간 중 Token 비용은 면제된다.) 나머지 사용 계정은 전액 자가 부담으로 구입했다. 다시 말해, 위 모든 내용은 나를 인간 관찰자로 바라본 정확한 독자적 판단이다.















