
마이크로소프트 백서 실증: Harness를 교체하면 동일한 Claude의 성능은 현저히 떨어진다
저자: 텐센트 커지

11월 7일, 마이크로소프트는 에이전트 실행 시스템에 대한 기술 백서를 발표했으며, 다소 놀라운 테스트 결과를 포함했다. 동일한 Claude Opus 4.8 모델을 사용하면서도 Copilot Studio 뒤의 Harness만 교체했을 뿐인데 복잡한 작업 통과율이 22.1%p 상승했다. 새로운 시스템은 작업당 모델 호출 횟수가 거의 두 배 증가했지만, 환산된 입력 토큰 소비량은 오히려 21% 감소했다.
딱 열흘 전, 마이크로소프트는 통합된 Copilot Harness를 자사 여러 제품에 확대 적용하고, 클라우드 플랫폼을 통해 개발자에게 호스팅 서비스를 판매하기 시작했다고 발표한 바 있다.
11월 5일, 먼샷 AI는 Kimi Hosted Agents(호스팅 에이전트)를 출시하며 ‘Harness as a Service’를 공식 제안했다. 8월, 딥씽크는 자체 Harness를 오픈소스로 공개했고, OpenAI와 앤트로픽은 이미 내부 실행 시스템을 개발자가 호출 가능한 서비스로 전환한 바 있다.
그 방대한 언어 모델 뒤의 ‘실행 시스템’이 이제 모델 기업들에게 핵심 열쇠로 부상하고 있다.
Harness 선점 경쟁
Harness는 대규모 모델을 중심으로 구축된 일종의 에이전트 실행 시스템으로 이해할 수 있다. 이 시스템은 모델이 외부 도구를 활용할 수 있도록 지원하며, 다단계 작업을 지속적으로 수행하고 실행 결과에 따라 후속 행동을 조정하게 한다. 장시간 작동해야 하는 에이전트의 경우 Harness가 작업 상태를 저장해 중단된 지점에서 작업을 이어갈 수 있도록 돕는다.
Harness는 AI 애플리케이션과 다른 레이어에 위치한다. 예를 들어 Claude Code나 WorkBuddy 같은 제품은 직접 사용자를 대상으로 하지만, 하부 Harness는 다양한 애플리케이션에서 재사용되거나 개발자에게 독립 서비스로 제공될 수 있다. 에이전트가 담당하는 작업이 점점 복잡해짐에 따라 Harness는 작업 성공률, 실행 효율성, 운영 비용에 영향을 미치는 주요 변수로 자리 잡았다.
앤트로픽은 Harness 개발에 일찍이 뛰어든 모델 기업 중 하나로, 초기 목적은 긴 프로그래밍 작업 과정에서 발생한 Claude Code의 문제를 해결하는 것이었다.
2025년 말, 앤트로픽은 Claude의 컨텍스트 윈도우가 고갈되면 다음 대화에서 이전 작업을 이어받기 어렵다는 사실을 파악했다. 이에 엔지니어들은 Claude Code 뒤의 Harness를 개선해 에이전트가 각 단계 종료 전 진도를 저장하도록 했으며, 이후 다시 해당 기록을 읽어서 미완료된 작업을 계속 이어갈 수 있도록 했다. 이렇게 하면 한 번의 모델 세션이 종료되더라도 전체 프로그래밍 작업은 지속해서 진행된다.
올해 4월, 앤트로픽은 Managed Agents를 추가로 출시해 이 에이전트 실행 기능을 클라우드 서비스로 개발자에게 제공했다. 기업이 에이전트를 장기적이고 안정적으로 운영할 수 있도록 하기 위해 앤트로픽은 하부 아키텍처도 조정했다. Harness가 작업 실행을 주도하고, 기록 데이터는 별도로 보관하며, AI 프로그램용 샌드박스는 언제든 교체할 수 있게 구성됐다. 샌드박스 오류가 발생해도 에이전트는 이전 작업을 복구할 수 있다.
Claude Code 내부 실행 시스템에서 외부 개발자를 위한 호스팅 서비스까지, 앤트로픽은 수년간 축적한 Harness 역량을 독립 제품으로 만들었다.
OpenAI 또한 Codex 뒤의 Harness를 더 많은 개발자에게 개방하기로 선택했다. 올해 2월, OpenAI는 Codex 웹 버전, 명령줄 인터페이스, IDE 플러그인이 실제로 동일한 에이전트 실행 시스템을 공유한다는 사실을 밝혔다. 8월에는 Codex를 개방형 Harness 플랫폼으로 재포지셔닝해 제3자 애플리케이션이 직접 연결될 수 있도록 했고, 9월 출시된 Agents API는 OpenAI가 이 시스템을 호스팅 및 유지관리하며 개발자가 에이전트 실행 환경에 직접 접속할 수 있게 했다.
이러한 노선은 OpenAI가 Codex를 통해 직접 사용자에게 서비스를 제공할 수 있을 뿐만 아니라, 하부 실행 능력을 타 소프트웨어 기업에도 제공할 수 있게 한다. 개발자는 자신들의 제품 UI와 업무 흐름을 그대로 유지한 채 Codex에게 실제 작업을 위임할 수 있다.
딥씽크는 8월 13일 MIT 라이선스 하에 Harness 전체 프레임워크 코드를 공개했다. ‘Everything is a Plugin’이라는 원칙을 제시하며, 거의 모든 에이전트 실행 시스템을 자유롭게 조합 가능한 플러그인 단위로 분리했다. 개발자는 모델이나 외부 도구 교체뿐만 아니라 에이전트의 모델 호출 및 작업 실행 방식을 수정할 수 있으며, 심지어 에이전트가 자체적으로 새 플러그인을 작성하고 설치하도록 할 수도 있다.
코드리스 기반의 이 아키텍처는 개발자가 기본 구동 시스템을 처음부터 구축하지 않아도 자신의 필요에 따라 다양한 유형의 에이전트를 개발할 수 있기를 목표로 한다.
11월 5일, 킴이는 Hosted Agents가 연중무휴 클라우드 환경을 제공한다고 공식 발표했다. 기업은 에이전트를 내부 시스템에 삽입하거나 외부 판매 제품에 임베드할 수 있으며, ‘Harness as a service’를 명시적으로 주장한다.
Harness의 진화
사실 Harness의 열기는 모델 기업이 아닌 곳에서 시작됐다.
올해 초, 오픈클라워의 인기 확산으로 업계는 베이스 모델이 없는 회사조차 에이전트 실행 시스템을 기반으로 대량 사용자를 유치할 수 있음을 깨달았다. 2월, OpenAI는 오픈클라워 창립자 피터 스탠버거를 영입해 차세대 개인 에이전트 연구개발에 참여시켰다.
이어 노우스 리서치는 헤르메스 에이전트를 출시해 작업 중 축적된 경험을 재사용 가능한 스킬 형태 저장하고, 이후 작업에서 지속적으로 개선하려는 시도를 보였다.
3월 말, 스탠퍼드 대학교 등 관련 기관은 Meta-Harness를 제시했다. 이는 AI가 실패 기록을 바탕으로 Harness 코드를 직접 수정하고, 테스트를 통해 효과를 검증하는 방식이다. 텍스트 분류 실험 결과 정확도는 7.7%p 향상되었고, 컨텍스트 토큰 소비량은 기존 대비 4분의 1로 줄어 들었다.
왜 이런 시도들이 모델 기업들에게 투자 가치를 지닐까? 10월, 싱가포르 난양공과대학교는 66종의 모델과 Harness 조합을 테스트하며 Harness 교체만으로도 모델 간 성능 순위가 바뀔 수 있음을 발견했다.
FrontierHarness Eval 또한 동일한 Kimi K3 모델이 Codex 기준으로는 작업 통과율 66.7%, 딥씽크 Harness Creator 기준 63.3%, Kimi Code 기준 56.7%를 기록함을 확인했다.
베이스 모델 기업에게 모델 성능을 끌어올리는 일은 모델 자체 개선뿐 아니라 Harness 설계와 최적화에 크게 의존하는 추세다.

그림: 동일 Kimi K3 모델의 Harness 구성별 작업 통과율 및 비용 비교
연구진은 Harness가 축적한 경험을 모델 학습에 활용하는 방법도 모색 중이다. 7월 제시된 Co-Harness는 실패 기록을 활용해 Harness를 개선한 후, 최적화된 실행 데이터로 모델을 훈련한다. 11월 공개된 HarnessFlow는 자동으로 더 나은 Harness 설계를 탐색하는 방식을 시도했으며, 여섯 가지 유형 과제에서 평균 성적을 10.89%p 향상시켰다.

그림: Harness 기술 발전 타임라인 (2025년 말 ~ 2026년 11월)
다만 자동 최적화에도 리스크가 따른다. 11월 초 한 연구에 따르면 특정 실험에서 새로운 과제로 최적화된 Harness는 기존 SWE-bench 평가에서 94%에 달하던 성적이 32%까지 하락했다. 모델 업그레이드는 이전에 유효했던 설계를 무용지물로 만들기도 한다.
이는 Harness 기술 축적이 단번에 끝나지 않음을 의미한다. 지속적인 개선 과정 속에서도 다양한 작업의 안정성을 어떻게 유지할 것인가는 여전히 미해결 과제다.
업계 관계자들은 이것이 오픈소스 모델 배포 시 큰 어려움 중 하나라고 지적한다. 이에 모델 기업들은 Harness 서비스 판매에 나섰다. 오픈소스 프레임워크는 무료로 얻을 수 있지만, 기업이 에이전트를 장기적으로 안정적으로 가동하려면 여전히 배포 및 유지보수 비용을 부담해야 한다. 킴이, 앤트로픽 등은 이러한 업무를 인수할 기회를 포착해 Harness를 독자적인 사업으로 키우고 있으나, 기업별 접근법은 천차만별이다.
Harness의 숨겨진 가치
Harness는 이제 별도 유료 서비스로 자리 잡고 있지만, 현재 요금표에서는 모델 추론이 여전히 주요 수익원으로 나타난다.
앤트로픽의 Managed Agents는 활성 세션 시간당 0.08달러를 청구하며, 토큰 비용은 별도로 산정된다. 공시된 1시간 분량 프로그래밍 작업 예시 기준으로 총비용 0.58달러 중 호스팅 실행비는 약 14%에 불과하다.
킴이의 요금제는 모델 토큰, 샌드박스 실행, 유료 플러그인으로 구분된다. 킴이가 공개한 증권사 법률 분석 작업 추정 비용은 약 30위안이나, 샌드박스 비용은 0.1위안에도 못 미쳤다. OpenAI는 Agents API 베타 테스트 기간 동안 추가 서비스에 대해 무료 정책을 펼쳤으며, 주로 모델 및 도구 사용량에 따라 과금한다. 딥씽크는 MIT 라이선스로 Harness를 오픈소스화했으므로 별도의 직접 과금 로직이 없다.

그림: 6개 모델 기업의 Harness 과금 방식 및 비즈니스 포지셔닝 비교
따라서 모델 기업들이 현재 Harness로 거두는 직접 수익은 미미할 가능성이 크다.
그렇다면 왜 여전히 막대한 연구개발 자원을 투입하는 걸까?
하나의 주요 이유는 기업이 에이전트를 실제로 배포한 후 Harness에 대한 요구사항이 특정 모델에 대한 선호보다 훨씬 안정적이기 때문이다.
미국의 법률 서비스 기업 ABC Legal은 원래 에이전트를 직원 PC에 배포해 정기작업 방식으로 구동했다. 사용 범위가 확대되면서 CTO 브랜던 풀러는 이들 에이전트를 중앙에서 관리할 플랫폼을 찾기 시작했다. 그는 여러 대안을 검토한 끝에 앤트로픽의 Managed Agents를 선택했는데, 기업이 분산된 실행 환경을 계속 유지관리하고 싶지 않았기 때문이다.
앤트로픽에 따르면, ABC Legal은 한 달 만에 50개 이상의 에이전트를 프로덕션 환경에 투입했고, 약 310명의 직원이 일상적으로 Claude를 사용하고 있다. 직원은 소프트웨어 개발 지식이 없어도 설정을 통해 신규 에이전트를 생성할 수 있다.
이는 호스팅형 Harness의 매력이 실질적인 기업의 니즈에서 비롯됨을 보여준다. 처음부터 실행 시스템을 구축·배포하고 장기간 유지보수하는 것보다는, 기성 서비스를 구매해 엔지니어링 자사의 본업에 집중하는 것을 선호할 수 있기 때문이다.
다만 기업이 이로 인해 특정 모델 기업에 종속되길 원하는 것은 아니다.
올해 8월, 벤처비트는 107개 기업을 대상으로 조사를 실시했다. 응답 기업 중 85%가 두 개 이상의 에이전트 오케스트레이션 플랫폼을 동시에 사용 중이었다. 플랫폼 선택 시 29%의 기업은 모델 및 도구 유연성을 최우선으로 고려했으며, 특정 선도 모델과의 네이티브 적합성은 10%만이 우선순위로 꼽았다. 표본이 주요 테크 기업에 치우친 측면은 있지만, 이미 하나의 구매 성향을 반영한다. 즉 고객은 모델 교체의 자유를 확보하기를 원한다는 것이다.
이는 Harness 경쟁 구도에 또 다른 비즈니스 논리를 제공한다. 기업이 하나의 실행 시스템을 장기간 사용할 의사가 있다면, 공급업체는 모델 호출을 독점하지 못하더라도 호스팅, 유지보수, 기업용 개발 서비스 수입을 지속적으로 거둘 수 있으며 고객과 더 안정적인 파트너십을 형성할 수 있다.
이처럼 Harness는 기업의 실제 작업 실행 과정에 직접 접근할 수 있다. 단순한 모델 API와는 달리, Harness는 모델 호출, 도구 실행, 실패 재시도, 최종 결과 등을 포함한 한 작업의 시작부터 완료까지의 워크 트레일을 기록한다. 이러한 로그는 고장 원인 규제를 지원할 뿐만 아니라 모델 연구개발에 귀중한 피드백을 제공한다.

그림: Harness가 기록하는 4가지 유형 기업 작업 실행 데이터
검증된 실제 작업 피드백을 지속적으로 획득한다면, 모델 기업은 프로덕션 환경 내 모델 문제점을 더 빠르게 발견할 기회가 생긴다. 다만 이 같은 우위는 데이터 소유권 문제에 의해 명확히 제한될 수밖에 없다.
이는 모델 기업에게 새로운 질문을 던진다. 기업이 하위 모델을 자유롭게 교체할 수 있고, 자신들의 데이터 권한을 확고히 지켜낸다면 Harness가 구축할 수 있는 장기적 우위는 과연 얼마나 될까?
모델 기업에게 Harness는 직접 과금을 넘어서는 장기적 가치를 안겨줄 수 있다. 기업이 더욱 많은 업무를 에이전트에 맡기는 가운데, 신뢰할 만한 실행 시스템을 제공하는 기업이 곧 모델 선정과 실제 비즈니스에 AI가 관여하는 방식을 좌우할 기회를 손에 쥘 수 있다.
낯익지만 약간 진부한 단어: 진입점이다.
그러나 인터넷 시대에 뿌리 깊게 박힌 이 단어는 항상 AI 시대의 경쟁을 촉발하는 민감한 신경을 건드린다. 이제 Harness는 일정 부분 이러한 기대와 상상력을 뒷받침하고 있다.













