
약한 모델이 이기면 공로는 누구 몫일까? AI 모델 벤치마크 점수의 진실, 당신이 상상하는 것보다 훨씬 더 신뢰하기 어렵다.
저자: Robonaissance 연구팀
번역: TechFlow
TechFlow导读: 주요 대형 언어 모델 간 치열한 벤치마킹 경쟁 속에서 ‘모델 A가 모델 B보다 8점 높다’는 사실은 기술계와 자본시장에서 종종 직관적으로 판단되곤 한다. 그러나 구글 클라우드 AI 연구팀과 노스웨스턴 대학교의 최신 실증 연구는 이 같은 환상을 완벽히 부수었다. 모델의 내장된 가중치를 전혀 건드리지 않은 상태에서 오직 외부 작업 흐름용 하네스(Harness)만 재구성해도, 이전까지는 점수가 낮았던 모델이 업무 및 전문 과제에서 최상위 모델을 손쉽게 추월할 수 있는 것이다.
이 같은 발견은 장기간 간과되어 온 냉혹한 현실을 적나라하게 드러낸다. 실제 환경에서의 점수와 성능은 결코 순수하게 저급한 단일 결정되며, 시스템 프롬프트, 메모리, 스킬 도구, 협업 스크립트가 결합해 만든 환경 시스템이 총체적으로 이를 좌우한다는 의미이다. 진정한 ‘두 개의 두뇌’ 간의 지적 격투전이 아니라, 서로 다른 사무실 환경에 배치된 수행자들이 보이는 결과물 비교에 불과하다는 사실을 이해하는 것은, 현재 시점에서 거꾸로 대형 모델의 점수 경쟁에 몰입하고, 실질적인 적용 엔지니어링 아키텍처는 외면하고 있는 현행 산업 생태계에 있어 강력한 경고 메시지라 할 만하다.

하나의 AI 에이전트가 하나의 프로그래밍 과제를 부여받았을 때, 그는 그 어느 때보다 성실한 태도로 이에 임했다.
그는 어느 코드 파일을 열어야 하는지, 어떤 터미널 명령어를 실행해야 하는지, 그리고 어떤 검증 절차를 거쳐야 하는지를 아주 세심하게 서술하며 자신의 계획을 밝혔다.
하지만 진짜 문제는 바로 ‘말만 했을 뿐’이었다는 것이다. 해당 에이전트는 단지 모든 툴 호출을 텍스트 형식으로 줄줄 나열했을 뿐이며, 마치 양손을 주머니에 넣고 서성이며 수리를 지적만 하고 있는 견습공처럼 보였을 뿐, 실제로는 아무런 코드를 실행하지 않았다. 결국 이 과제는 만점 100점 중 단 60점이라는 처참한 평가를 받았다.
이어 연구진은 해당 에이전트가 운영 중인 환경 속의 한 가지 구성 파일만을 바꾸었을 뿐이다. 그것은 단순히 짧은 툴 호출 지침이었으며, 오직 더 이상 가짜 텍스트 호출 명령어나 내보내지 말아야 한다는 명확한 경고를 담고 있었다. 모델의 내부 네트워크 가중치는 단 한 자도 변화하지 않았고, 테스트 대상도 동일했다. 하지만 최종 점수는 100점을 넘어섰다.
이 생생한 사례는 2026년 10월 9일에 Google Cloud AI 연구소와 미국 노스웨스턴 대학교 연구진들이 공동으로 발표한 최신 논문에서 나왔다. 논문의 시험 데이터는 모두 저자진 자체 실험 기록에 기반한 것이며, 아직 완전히 독립된 외부 기관의 재현 검토는 되지 않은 상태다.
이는 사소한 듯 살짝 유머러스하게 느껴지는 삽화처럼 보이지만, 근본적으로 한 가지 핵심 질문을 건네고 있다는 점에 주목하자.
그러나 실제 세계에서 비교되는 것들은 각기 고유한 시스템 지시문, 전용 보조 도구, 그리고 작업 습관을 바탕으로 움직이고 있으며, 그 뒤엔 매달린 엔지니어링 최적화의 심혈 또한 각각 다르다. 최종 평가 점수는 반드시 이 세 요소가 결합된 결과물일 뿐, 절대 모델 혼자서 만들어낼 수 있는 게 아니다.
지금 현재, 모델 주변에 마련된 이 하네스 최적화 업무는 또 다른 AI에게 자동화될 수 있다. 실제 태스크에서 이 외각환경의 조정 폭이 초기의 모델 우수 순위 자체를 송두리째 바꿀 정도라면, 이제 ‘A모델이 B모델을 압도했다’는 말 뒤에 묻어야 할 건 명확하다. ‘어떤 시스템 환경 아래서 돌렸는가?’, 그리고 ‘도움을 얼마나 받으며 수행했는가?’ 말이다.
역전극의 반전: 약한 모델이 강한 모델을 어떻게 꺾었나
논문의 가장 강렬한 성과는 극적인 순위를 재편했다는 사실이다.
코드 작성, 웹 검색, 문서 처리 등 100여 개의 업무 관련 기준 테스트 과제들 가운데 하나하나마다 숨겨진 테스트 사례, 파일 무결성 확인, 대형 언어 모델 평론가 등을 통해 점수를 매겼다. 기본 제공 환경에서 국내 오픈소스 모델 GLM-5의 평균 점수는 64.2점이었으며, 동일한 기본 제공 환경에서 구동한 구글측 Gemini 3.5 Flash의 평균 점수는 72.4점에 달했다. 이 평가표의 데이터 자체로만 봐도 Gemini 쪽이 압승을 거둔 셈이며 약 8점 차이가 난다.
하지만 외부 주변환경의 구성을 한번 자동 미세 조정했을 뿐인데, GLM-5의 평균 점수는 75.7점으로 뛰어올랐다. 이는 초기 점수보다 무려 11.5점 높은 것이며, 기본 환경에서만 동작하던 Gemini를 넘어서는 수치다.
또 다른 기본 제공 테스트 환경을 사용해도 동일한 법칙이 다시 나타났다. 최적화된 후 GLM-5가 75.3점을 획득했으며, 이는 Gemini가 찍은 74.5점을 앞서는 것이다. 저자들은 솔직하게 결론을 내렸다. 상대적으로 기초 체력이 떨어지는 모델이라도 훨씬 더 나은 시스템 하네스를 입힌다면, 원천적으로 환경이 빈약한 곳에 있던 강한 모델조차 충분히 이길 수 있다는 것이다.
그 문장은 정말 맞는 말이지만, 표면적으로는 들리는 것보다 훨씬 더 날카롭고 조심스러운 의미를 담고 있다. 이는 GLM-5의 내부 인식 능력이 이미 Gemini를 압도했다는 뜻이 결코 아니다. Gemini에도 정확히 같은 시스템 단계의 조정을 적용한다면, 물론 점수가 함께 높아져 77.5점까지 도달할 가능성이 크다.
실험 결과가 진정으로 보여주는 바는 이것이다. 업무 태스크 관점에서는 이 둘의 자연스러운 격차는 외부 환경 공학 조정이 펼칠 수 있는 점수 격차보다 훨씬 작았다는 점이다. 이렇게 엄청난 순위 전환은 모델 자체의 파라미터나 가중치에 손을 대는 순간부터 이루어진다.
하네스 구조 해부: 두뇌 외부의사무실 부품
AI 업계 전반에서 모델 주변에 둘러쳐진 이 시스템 레이어는 직감적으로 ‘하네스(Harness)’라고 불리며, 그 정체는 그냥 말처럼 가볍거나 전문적이지 않다.
새로운 직장인이 첫 출근날, 단순히 머릿속 지능만 가지고 입사하는 것이 아니라, 회사는 그에게 무엇을 함께 제공할까? 직책 설명서, 규정 안내장, 이전 직원이 남긴 인수인계 노트, 철저한 표준화 절차 가이드북, 사무 소프트웨어 조작법 안내, 자동화 처리용 템플릿 스크립트 몇 개, 그리고 언제든 도와주는 동료 집단 등이 있다.
AI의 하네스는 곧 이 모든 것을 디지털로 복제한 것과 같다. 논문은 이를 여덟 가지 핵심 소품으로 분류한다. 상설 시스템 지침(Standing Instructions), 가드레일(Guardrails), 메모리 모듈(Memory), 스킬(Skills), 도구 호출 가이드.Tool Guidance), 자동화 스크립트(Scripts), 보조 하위 에이전트(Helper Agents), 그리고 에이전트의 행동을 실시간으로 차단하거나 수정하는 경량형 플러그인이다. 각각은 별도의 파일이며 절대 모델의 내부 가중치를 변경하지 않는다. 이들이 바꾸는 것은 모델이 무엇을 알게 되었는지, 뭘 기억하고 있는지, 혹은 무엇인가를 하라는 지시를 받았는지에 지나지 않는다.
비유적으로 보면 이런 직무 묘사는 또 다른 층면에서도 완전히 일치한다. 똑같이 능력을 갖춘 우수한 인재를 한 곳에서라면 깔끔하고 체계적인 사무실에 한 곳에서 있다면 어수선하고 비효율적인 조직에 넣었을 때 얻어내는 평가는 확연히 다를 수밖에 없다. 이런 테스트를 ‘개인의 순수 능력 측정’이라고 생각하지는 않을 것이다. 그런데 지금 업계는 ‘모델 A가 72점을 획득했다’는 문장을 볼 때는 그저 이원론적 사고에만 빠져들 뿐이다.
답안 없는 세계 속 자기 주도적 진화: 맞음/틀림 아닌 행태 교정 중심
하네스를 최적화하는 가장 직접적인 방법은 설정값을 계속 바꿔보고 점수가 높아진 걸로 유지하는 것이다. 다만 그 전제로는 이미 점수판이 깔려 있어야 하는데, 실제 신종 개방형 태스크 위주의 평가에선 에이전트가 미리 정해진 점수 척도를 잡히기 어렵다. 왜냐하면 현실 속에서 유일한 정답을 일찌감치 제시해 주는 사람이 없기 때문이다. 논문의 새로움은 딱히 ‘반드시 옳고 그름’만 따지지 않고 ‘행위 패턴’의 유사함을 비교함으로써 이 난관을 슬기롭게 돌파했다는 점이다.
그 중 단계별 최적화 메커니즘은 대체로 다음과 같이 작동한다. 먼저 에이전트가 기존 하네스 환경 아래서 한차례 과제를 완수하고, 이 실행 기록이 베이스라인 참조본 Reference Run)로 자리잡는다. 이어 편집 및 최적화를 담당하는 모델이 전체 수행 궤적을 되짚어 가며 두 가지 방향의 개선된 하네스안을 제안하는데, 첫 번째안은 일반적으로 에이전트의 취약점(예를 들면 작업 계획 수립, 툴 활용, 맥락 추적 등)에 집중된다. 두 번째안은 해당 분야 특유의 지식을 채워넣고 업무 규칙을 추가한다.
다음 단계는 고친 하네스로 동일한 과제에서 다시 돌려보자. 그리고 처음 베이스라인과 비교해볼 차례다. 이번 수정이 과연 예상했던 행태를 올바르게 교정했는지, 아니면 효과가 없었는지, 혹은 의도치 않게 다른 정상작동을 망쳤는지 살피게 된다. 마지막 단계에서는 오직 실제로 검증된 항목만을 발취해 모으고 이를 통합하네스로서 최종 산출물을 도출한다. 태스크가 끝난 뒤엔 이번 사례 학습을 기록 보관함에 저장해 향후 유사한 임무에 대비하도록 했다.
공식적인 용어로 설명하면 이 베이스라인의 역할은 “최종 산출물이 반드시 정답인지 여부를 증명하기 전에, 하네스가 어떠한 행동 특징을 드러냈는지 밝혀내는 것”이라고 매우 솔직하게 인정하고 있다. 이것이 곧 해당 방식의 정직함이다. 정답이 맞는지 틀린지 선제적으로 판별할 순 없지만 수행 궤적 자체에서 나타나는 파탄을 잡아낼 수 있으며, 그렇게 해서 성공적으로 바로잡은 것도 역시 눈으로 보이는 행위 결함을 바로잡을 수 있음을 알 수 있다.
이 방법이 성공적으로 해결했던 대표 사례를 잠깐 들여다보자. 복잡한 전문 업무 태스크에서 특정 시간표, 행사장소, 인원 가동률 및 경비 예산 등 분산된 데이터 원본 파일들을 종합하여 보고용 메모를 생성해야 하는데, 첫 회차 시행 당시 43.1점이 기록했다. 수행 로그 분석결과 이 과정에서 서로 다른 파일 사이 숫자를 대조하거나 크로스체크한 흔적이 전혀 보이지 않았으며, 완성 후 다시 파일을 열어 점검하는 과정도 생략했다. 자동화 최적화된 하네스가 이를 보완해 입력 근거를 차례대로 짚어내고, 각 숫자의 근원을 추적하고, 마지막으로 스크립트를 돌려 완성본을 다시 열어 최종 검증을 진행하자, 최종 점수는 단번에 77.8점으로 치솟았다.
다른 법률 실무 과제에서는 중재 절차문에 대해 검토 및 주석을 다는 것이었다. 최초 버전은 모든 수정 내용을 Word 문서의 검토 추적(Track Changes) 레이어에 저장하는 바람에, 순수 텍스트로 열람하는 사용자는 최종 확정된 모습만 보게 될 뿐 주석이 숨겨져버리는 치명적 오류가 발생했다. 여기에 새롭게 주입한 스킬 패키지가 본문 내에서 명시적으로 추가·삭제 표시를 하도록 강제했더니, 점수가 44.4점에서 94.5점으로 순식간에 올라갔다. 세 번째 경우엔 자료조사 담당 보조 에이전트가 무한 반복 검색 고리에 빠지며 기한 직전까지 아무것도 만들어내지 못했으나, 순수한 도구 호출 횟수에 도달하면 즉시 경고를 발령하는 가드레일 플러그인을 투입함으로써 체납 문제를 완전히 타파시켰다.
분명한 건 이들 모든 결함이 모델의 지식 부족 때문이 아니라는 사실이다. 해당 에이전트들은 법적 조항, 수학적 논리, 코드 규약 등의 정보량을 충분히 확보하고 있었다. 이들이 진짜로 결핍했던 건 바로 훌륭한 직업적 숙련도였다. 결과를 꼼꼼히 재확인하라, 조사 내용이나 기록을 남겨라, 독자가 명확하게 확인할 수 있도록 하라, 필요시엔 과감히 실행 버튼 눌러라. 이런 직업적 습관은 수행 궤적 위에서 명확히 드러나는 반면, 추상적인 정답의 정확성과는 구분된다. 바로 이것이 기준 답안 없이도 수행 궤적만 면밀히 대조하면 문제가 어디에서 비롯되었는지 찾을 수 있는 이유다. 또한 두 가지 기준 테스트 항목 중에서 상대적으로 기초가 약한 모델일수록 더욱 크게 상승폭이 컸던 것도, 애초에 버려야 할 좋지 못한 습관이 많았기에 그만큼 개선 여지가 넓었기 때문이다.
역전극의 대가: 강력한 에디터와 추가 연산 부담
주목해야 할 점은 최적화 이후 GLM-5 스스로가 단독으로 승리를 쟁취한 것은 아니라는 사실이다. 그의 하네스는 Claude Opus 4.8이 직접 다시 쓰면서, 상위권 레벨에서 두 팀 모두을 앞서는 수준이었다. 뿐만 아니라 최종 산출물을 내보기 전까지 각 과제를 여러 차례 반복적으로 수행했는데, 베이스라인 1회, 후보 2개 안 1회씩, 합쳐진 최종 버전 1회 등 모두 돌아봤다. 반면 통제군(Gemini)은 오직 기본 하네스 상황에서 한 번만 수행했다.
따라서 이 역전의 핵심은 GLM-5가 좀 더 강력한 에디터 멘토와 몇 배에 달하는 추가 실행 비용을 얹고서, 외부 도움 없는 완전 초기상태(Gemini)를 맞섰다는 뜻이다. 투입된 자원과 컴퓨팅 비용은 천양지 difference가 난 것이며, 실험 결과 자체 역시 이를 감추지 않는다.
하지만 두 가지 확실한 실증 증거가 존재해서, 사람들이 이를 단순히 “더 강한 모델이 대신 해줬으니 당연하다”로 치부하는 것을 막는다. 첫째, 모델 스스로 하네스를 편집·최적화하는 아블레이션(Ablation) 연구 설계로, GLM-5부터 Claude Opus 5에 이르기까지 다섯 등급을 포함했다. 테스트 결과는 어떤 모델도 이 메커니즘 안에서 모든 베이스테스트에서 자기 점수를 향상되었다. 즉 핵심 로직이 외부 에디터 의존도에 절대 종속되지 않는다는 걸 말한다. 비록 메인 실험 테이블에서는 최상급 모델로 편집단을 편성했지만 말이다.
둘째, 계산 회계 명세(최적화 편집과정에서 소비된 Token 실제 수행과정에서 소비된 Token을 전부 합산한 자료)에 따르면, 연구진이 설정한 컴퓨팅 예산 테스트 구간내에서는 단위 비용 대비 획득한 성능 향상이 다른 비교안들 보다 높았다. 이는 특정 예산 범위 내에서 엄격한 실증적 우위를 뜻할 뿐, 어떤 세상에도 모든 컴퓨팅을 쏟아붓는 완벽한 방법론이라 주장하는 것은 아니다.
주의해야 할 점은 하네스 손질이 무조건 긍정 효과만 가져오는 건 아니라는 것이다. 업계에 이미 소개된 다른 에이전트 강화 방안들 중 일부는 수정 전 원래 하네스보다 점수가 크게 낮기도 했고, 프로그래밍 과제의 경우 최저 6.6점이 하락하기도 했다. 또 다른 방안은 12개의 기준+환경 조합에서 7개 항목이 시작점 이하로 떨어졌다. 설령 이 논문의 자체 에디터를 썼더라도 만약 베이스라인 실행과 케이스 베이스를 통한 폐쇄검증을 거치지 않고 맹목적으로 하네스를 다시 쓴다면, 프로그램 점수는 73.4점에서 급락하며 63.2점이 될 수도 있다. 대형 모델 주변에 설치된 시스템 레이어는 큰 레버리지 효과를 내어, 최종表現을 심하게 요동치게 만들 수 있지만, 이번 실험이 안정적인 상승세를 이끌어낸 비결은 오직 “모든 손질을 에이전트의 실제 수행 궤적으로 철저히 검증해야 한다”는 원칙을 준수했기 때문이다.
실증결론의 한계와 시사점: 점수는 결코 순수 두뇌 격투전이 아니다
현재 데이터가 뒷받침하는 명확한 경계선 상에서 우리는 다음과 같은 확신을 세울 수 있다. 업무·전문 컨설팅·법률 실무 태스크 영역에서는 대형 모델 주변으로 쌓인 이 하네스의 무게감이 충분할 정도로 크기에, 모델간 상대적 승패 관계를 송두리째 뒤집을 수 있으며 동시에 조정 비용은 매우 낮아서 개별 과건마다 동적으로 커스터마이징할 수 있다는 것이다. 그것이 논리가 증명한 전부가다.
하지만 그것의 더 깊은 철학적 차원에서 절대적인 지적 도약을 의미한다는 주장은 성립할 수 없다. 이 태스크들의 평가는 상당 부분 LLM Judge(대규모 언어 모델 심사위원)의 주관점수에 의존하며, 법률 테스트에서는 정확도 포인트 체크 방식이 전체 과업의 완벽 달성 여부를 평가하지 않는다. 저자들은 명확하게 인정한다. 정해져 있는 사실 베이스라인이 없는 조건에서 행위 패턴만 대조하는 것은 수학적으로 절대적 정확도를 보장하지 못할 뿐 아니라, 특정 수정 사항이 완전히 새로운 환경으로 자연스럽게 확장되기 어렵다는 점을 언급했다. 또한, 테스트 집단의 규모가 제한적이다.(분야당 25~100개 과업만 포함.) 극히 소수의 임무에서 우연적인 변동이 전체 평균을 흔들릴 수 있고, 마지막으로 여기서는 영구 자가진화 축적의 드라마는 등장하지 않았다. 초장기간 워크로드 스트레스 테스트를 진행하지 않았으며, 무제한적인 자동지능 도약 선언 또한 내지 않았다.
그럼에도 불구하고 위와 같은 객관적 제약에도 불구하고 기술 진화의 방향성은 매우 분명하다. 하나의 모델 시스템 환경이 단 몇몇 태스크 수행 사이클 안에 다른 AI의 자동화 최적화와 재구축을 받을 수 있다면, ‘기본 하네스 상태의 초기상태 모델’은 AI 능력을 측정하는 절대적 기준이 될 수 없게 된다. 그것은 단지 수많은 가능한 설정 중 일반적 하나에 불과하며, 실제 사업 현장에서 진짜로 쓰이는 구성과는 괴리될 가능성이 크다.
우리는 더 완벽한 기초 대형 언어 모델이 나오기를 기다리는 것만으로 이 엔지니어링 하네스가 자동으로 사라지리라 기대할 수 없다. 이번 실험에서 해결된 수많은 장애는 대부분 특정 현장 환경과 깊게 연관되어 있다. 예를 들어 독자에게 전혀 보이지 않는 원본 교정 표시가 있거나, 마감시간 임박했지만 보고서 작성 작업을 미뤄왔던 것과 같다. 현실의 각기 다른 근무 환경엔 고유한 마찰력이 존재한다.即便 이 논문에서 평가한 최강 모델이라도, 자체 환경 최적화 과정을 거쳐보면 여전히 점수 향상은 가능하다. 더 강력한 모델일수록 주의사항이나 교정이 적게 필요할지라도, 결국 누군가 특정 장소에서 근무해야 하며 그곳의 매뉴얼은 반드시 사람 혹은 다른 에이전트가 미리 준비해 놓아야만 한다.
처음엔 화면 위에 툴 호출 명령어만 외워대던 에이전트는, 나중에 실제로 명령을 실행하게 된 에이전트보다 훨씬 낮은 잠재력을 보인다. 이들은 완전히 동일한 뇌지만, 단지 작업 규정서에 한 줄의 핵심 지시가 빠져 있었을 뿐이다. 다음부터 SNS상에서 ‘X 대형 언어 모델이 Y 모델보다 완벽한 승리를 거뒀다’는 Benchmark Table을 보게 되면, 꼭 명심하기 바란다. 표는 두 개의 두뇌가 서로 다른 설정을 받은 사무실 환경에서, 일정 횟수의 시행착오 끝에 내놓은 성적을 기록한 것이다. 그 뒤에서 어떤 이가 이방을 꾸며줬는지, 그리고 각각 몇 번의 재시험 기회가 주어졌는지 완전히 파악하지 않는다면, 당신이 그 차트에서 얻을 수 있는 실제지적 정보는 겉보기보다 훨씬 협소하다는 것이다.













