Белый доклад Microsoft подтверждает: замена Harness приводит к заметному падению производительности той же модели Claude

Автор: Tencent Tech

7 ноября Microsoft опубликовала технический белый документ о системе выполнения агентов (Agent Execution System), содержащий ряд неожиданных результатов тестирования: при использовании той же модели Claude Opus 4.8 замена только Harness в основе Copilot Studio повысила процент успешного прохождения сложных задач на 22,1 процентных пункта. В новой системе количество вызовов модели на каждую задачу почти удваивается, однако затраты на входные токены после пересчета можно сократить на 21%.

Ровно за десять дней до этого Microsoft объявила о внедрении единого Copilot Harness в несколько своих продуктов и предлагает разработчикам хостинговые услуги через облачную платформу.

5 ноября Moonshot AI только что выпустила Kimi Hosted Agents (управляемые интеллектуальные агенты), официально заявив концепцию Harness as a Service. В августе DeepSeek открыл исходный код собственного Harness; ранее OpenAI и Anthropic уже превратили свои внутренние системы выполнения в сервисы, доступные для вызова разработчиками.

«Система выполнения», стоящая за большими языковыми моделями, начинает становиться ключевой фигурой в глазах компаний-разработчиков моделей.

Борьба за Harness

Harness можно понимать как систему выполнения агентов, созданную вокруг большой языковой модели. Она позволяет моделям использовать внешние инструменты, непрерывно выполнять многоэтапные задачи и корректировать дальнейшие действия на основе результатов выполнения. Для агентов, требующих длительного времени работы, Harness также отвечает за сохранение состояния задачи, позволяя продолжить работу после прерывания.

Она находится на другом уровне по отношению к приложениям на базе ИИ. Например, такие продукты, как Claude Code и WorkBuddy, ориентированы непосредственно на пользователей, тогда как базовый Harness может повторно использоваться различными приложениями или предоставляться разработчикам как отдельный сервис. По мере того как объем работ, выполняемых агентами, становится все более сложным, Harness постепенно превращается в важный фактор, влияющий на вероятность успеха задачи, эффективность выполнения и эксплуатационные расходы.

Anthropic является одной из первых компаний среди разработчиков моделей, которая начала инвестировать исследования и разработки в Harness; изначально это было сделано для решения проблем, возникавших у Claude Code при выполнении длительных задач по программированию.

В конце 2025 года Anthropic обнаружила, что когда контекстное окно Claude исчерпывается, новые раунды диалога часто не могут продолжить предыдущую работу. Инженеры доработали Harness в основе Claude Code так, чтобы агент сохранял прогресс перед завершением каждого этапа, а на следующем шаге считывал эти записи и продолжал выполнение незавершенной задачи. Таким образом, даже после завершения одной сессии модели весь процесс программирования мог продвигаться дальше.

В апреле этого года Anthropic дополнительно представила Managed Agents, предоставив эту возможность запуска агентов разработчикам в виде облачного сервиса. Чтобы компании могли долго и стабильно эксплуатировать агентов, Anthropic также переработала нижележащую архитектуру: Harness отвечает за продвижение выполнения задачи, историю операций можно сохранять отдельно, а песочница для запуска ИИ-программы может быть заменена в любой момент. Даже если песочница даст сбой, агент сможет восстановить предыдущую работу.

От внутренней системы выполнения в Claude Code до хостингового сервиса для внешних разработчиков Anthropic превратила накопленные за годы работы возможности Harness в самостоятельный продукт.

OpenAI также решила открыть Harness в основе Codex для большего числа разработчиков. В феврале этого года компания раскрыла информацию, что веб-версия Codex, командная строка и плагины для IDE фактически используют одну и ту же систему выполнения агентов. В августе она дополнительно позиционировала Codex как открытую платформу Harness, разрешая сторонним приложениям подключаться напрямую. Выпущенное в сентябре Agents API предполагает, что OpenAI будет осуществлять хостинг и поддержку этой системы, а разработчики смогут напрямую подключаться к среде выполнения агентов.

Такой подход позволяет OpenAI одновременно обслуживать пользователей напрямую через Codex и предоставлять другим программным компаниям базовые возможности выполнения. Разработчики могут сохранить собственные интерфейсы продуктов и бизнес-процессы, поручая Codex выполнение конкретных задач на заднем плане.

13 августа DeepSeek открыла весь фреймворк Harness под лицензией MIT, предложив концепцию «Everything is a Plugin» («Всё — это плагин»), практически разделив всю систему выполнения агентов на свободно комбинируемые модули. Помимо замены моделей и внешних инструментов, разработчики могут изменять способ вызова модели агентом и выполнения задач, а даже позволить самому агенту писать и устанавливать новые плагины.

Эта основанная на Cordis архитектура призвана дать разработчикам возможность создавать различные типы агентов по своему усмотрению, без необходимости сборки системы выполнения с нуля.

5 ноября Kimi официально заявила, что Hosted Agents предоставляет круглосуточную облачную среду: компании могут интегрировать агентов во внутренние системы или внедрять их в продукты для продажи клиентам, прямо обозначив концепцию Harness as a service.

Эволюция Harness

По факту, популярность Harness началась не с компаний, разрабатывающих модели.

В начале этого года успех OpenClaw уже показал отрасли, что компания без собственной базовой модели способна привлекать массовых пользователей благодаря системе выполнения агентов. В феврале OpenAI наняла основателя OpenClaw Питера Штайнбергера для участия в разработке персонального агента следующего поколения.

За этим Nous Research выпустила Hermes Agent, пытаясь обеспечить сохранение опыта, накопленного агентом в ходе работы, в виде переиспользуемых навыков (Skills) для постоянного улучшения в последующих задачах.

В конце марта ведущие учреждения, включая Стэнфордский университет, предложили Meta-Harness, позволяющую ИИ напрямую корректировать код Harness на основе записей об ошибках и проверять результаты с помощью тестов. В эксперименте по классификации текста точность выросла на 7,7%, а потребление контекстных токенов снизилось до четверти от первоначального уровня.

Почему эти исследования заслуживают инвестиций со стороны компаний-разработчиков моделей? В октябре Технологический университет Nanyang в Сингапуре протестировал 66 комбинаций моделей и Harness и обнаружил, что замена Harness может даже изменить рейтинг производительности между моделями.

Оценка FrontierHarness Eval также выявила, что для одной и той же модели Kimi K3 доля успешно пройденных задач составляет 66,7% при использовании Codex, 63,3% — при DeepSeek Harness Creator и 56,7% — при Kimi Code.

Для компаний, разрабатывающих базовые модели, улучшение показателей помимо оптимизации самой модели всё больше зависит от проектирования и настройки Harness.

Рис.: Сравнение доли успешных задач и затрат для одной модели Kimi K3 при различных конфигурациях Harness

Исследователи также пытаются применять опыт, накопленный Harness, для обучения моделей. Предложенный в июле Co-Harness сначала улучшает Harness на основе записей об ошибках, а затем использует оптимизированные данные выполнения для тренировки модели. Опубликованный в ноябре HarnessFlow пытается автоматически искать лучшие конструкции Harness, повышая средний результат на 10,89 процентных пункта в шести категориях задач.

Рис.: Хронология развития технологии Harness (конец 2025 – ноябрь 2026 года)

Однако автоматическая оптимизация несет риски. Исследование, проведенное в начале ноября, показало, что в определенных экспериментах Harness, прошедший оптимизацию под новую задачу, потерял в результатах SWE-bench с 94% до 32%. Обновление моделей также способно сделать ранее эффективные проекты нерелевантными.

Это означает, что технические преимущества Harness трудно обеспечить раз и навсегда. Вопрос о том, как сохранять стабильность выполнения различных задач в процессе постоянных улучшений, остается нерешенной проблемой.

Представители отрасли отмечают, что это также является одной из главных болевых точек при развертывании открытых моделей. Поэтому компании-разработчики моделей уже начали продавать услуги Harness. Открытые фреймворки можно получить бесплатно, но компаниям, желающим долгосрочно и стабильно эксплуатировать агентов, все равно придется нести расходы на развертывание и поддержку. Компании вроде Kimi и Anthropic увидели возможность взять эти задачи на себя, превратив Harness в отдельный коммерческий продукт, хотя подходы разных игроков значительно различаются.

Скрытая ценность Harness

Harness начал превращаться в услугу, за которую можно взимать отдельную плату, однако текущие тарифные планы показывают, что основным источником доходов по-прежнему остаются инференс модели.

Услуга Managed Agents от Anthropic стоит 0,08 доллара за каждый час активной сессии, плюс оплата токенов отдельно. Согласно приведенному официальной компанией примеру часовой задачи по программированию, общая стоимость составит 0,58 доллара, из которых плата за хостинг составляет лишь около 14%.

Модель оплаты Kimi разделяется на токены модели, запуск песочницы и платные плагины. В рамках опубликованного примера юридического анализа для инвестиционного банка оценочная стоимость составила около 30 юаней, при этом расходы на песочницу заняли менее 0,1 юаня. Во время закрытого бета-тестирования Agents API компания OpenAI не взимала дополнительной платы за сервис, ограничиваясь тарификацией по объему использования модели и инструментов. DeepSeek открыла исходный код Harness под лицензией MIT, поэтому прямой схемы монетизации там пока нет.

Рис.: Сравнение моделей тарификации и коммерческого позиционирования Harness среди шести компаний-разработчиков моделей

Таким образом, прямые доходы компаний-разработчиков моделей от Harness на данном этапе могут быть ничтожно малы.

Зачем же тогда вкладывать столько исследовательских ресурсов?

Одна из важных причин заключается в том, что после реального внедрения агентов корпоративные потребности в Harness могут быть более стабильными, чем требования к конкретной модели.

Американская юридическая фирма ABC Legal изначально развертывала агентов на рабочих станциях сотрудников, запуская их через запланированные задачи. По мере расширения масштабов использования технический директор Брандон Фуллер начал искать платформу для централизованного управления этими агентами. Проанализировав несколько вариантов, он в итоге остановился на Managed Agents от Anthropic, поскольку компания больше не хотела поддерживать рассредоточенную инфраструктуру.

По данным Anthropic, ABC Legal перевела в продуктивную эксплуатацию более 50 агентов в течение месяца, примерно 310 сотрудников ежедневно используют Claude. При этом сотрудникам даже не требуются знания в области разработки ПО — создать нового агента можно просто путем настройки конфигурации.

Это свидетельствует, что привлекательность управляемого Harness проистекает из реальных потребностей бизнеса. По сравнению с самостоятельной разработкой, развертыванием и долгосрочной поддержкой систем выполнения компании скорее предпочтут купить готовое решение, перенеся инженерные ресурсы на развитие собственных бизнес-процессов.

Однако предприятия не обязательно захотят привязать себя к одному разработчику моделей ради этого.

В августе этого года VentureBeat опубликовал результаты опроса 107 компаний. 85% респондентов одновременно используют две или более платформы оркестровки агентов. При выборе платформы 29% компаний ставят гибкость интеграции моделей и инструментов на первое место, и лишь 10% отдают приоритет нативной совместимости с какой-либо ведущей моделью. Хотя выборка смещена в сторону крупных технологических корпораций, это уже отражает определенную тенденцию к закупкам: клиенты хотят сохранять свободу выбора и смены моделей.

Это ровно создает альтернативную коммерческую логику конкуренции вокруг Harness. Если компания готова надолго пользоваться одной системой выполнения, поставщик услуг, даже не монополизируя вызовы моделей, может стабильно зарабатывать на хостинге, поддержке и услугах корпоративной разработки, выстраивая с клиентами более устойчивые партнерские отношения.

В таком случае Harness получает доступ к реальному процессу выполнения корпоративных задач. В отличие от простого API модели, Harness способен фиксировать траекторию работы задачи от старта до финиша, включая вызовы модели, использование инструментов, повторные попытки после ошибок и итоговые результаты. Эти записи помогают компаниям диагностировать неполадки и одновременно предоставляют ценную обратную связь для разработки моделей.

Рис.: Четыре типа данных о выполнении корпоративных задач, фиксируемых Harness

При условии постоянного получения проверенной обратной связи от реальных задач компании-разработчики моделей получат шанс быстрее выявлять проблемы своей продукции в производственной среде. Однако это преимущество жестко ограничивается вопросами прав на данные.

Это ставит перед компаниями новый вопрос: если предприятия смогут свободно заменять базовые модели и при этом настаивать на контроле над собственными данными, какое долгосрочное преимущество сможет завоевать Harness?

Для компаний-разработчиков моделей Harness может принести более долгосрочную ценность, чем простая тарификация. По мере того как предприятия передают все больше задач агентам, тот, кто обеспечит надежную среду выполнения, получит шанс влиять на выбор моделей и определять роль ИИ в реальных бизнес-процессах.

Давно знакомое и избитое слово: точка входа.

Однако этот глубоко укоренившийся в эпоху интернета термин всегда затрагивает самые чувствительные струны конкуренции в эпоху ИИ. Сейчас Harness в определенной степени берет на себя эти ожидания и воображение.