Профессор Уортонской школы первым протестировал новую модель Anthropic: фактически это AGI, который создаст для себя собственную бюрократическую систему.

Автор: Этан Молик, One Useful Thing

Перевод: TechFlow

Ранее от TechFlow: До публичного релиза новой модели Anthropic Claude Fable 5.2 профессор Уортонской школы бизнеса Этан Молик провел углубленное тестирование. От взлома аппаратного обеспечения и запуска стартапа до воссоздания сложнейших гуманитарных курсов и написания эмпирических исследований — отдельная модель демонстрирует экспертный универсальный интеллект, способный охватывать множество областей.

Однако тесты выявили новую тревогу за «ступенчатым ИИ»: 28 параллельных агентов без запроса со стороны человека составили свод правил объемом 87 500 слов с трехуровневой системой согласования, снизив ежедневную мощность производства мира с 211 единиц до 2. ИИ больше не допускает примитивных ошибок, но ему по-прежнему не хватает саморефлексии относительно того, когда следует упростить процесс.

Прежде чем начать, я хочу поблагодарить читателей за то, что моя новая книга «Co-Existence» две недели подряд входила в бестселлеры The New York Times. Если вы еще не читали её, получить книгу можно здесь.

Еще до официального выпуска Anthropic мне удалось глубоко протестировать совершенно новую модель Claude Fable 5.2. Продолжив впечатляющую линию, заложенную предыдущей Opus 5.5, она произвела на меня сильное впечатление.

По сути, возможности ИИ сейчас достигли переломной точки: нам вполне есть смысл задать вопрос, перешагнули ли новейшая модель Anthropic (и неизбежно последующие конкурентные продукты OpenAI и Google) порог «общего искусственного интеллекта (AGI)»?

AGI — понятие спорное, а его определения варьируются. В этой статье я временно опираюсь на следующий критерий: «ИИ, который справляется с большинством интеллектуальных задач, выполняемых через компьютер, на уровне большинства человеческих экспертов».

Это определение исключает большую часть работ, где по-прежнему нужны люди: взаимодействие с физическим миром, общение с другими людьми и большинство реальных рабочих мест, где «работа за компьютером» — лишь один из этапов. Даже с этими ограничениями создание хоть какой-то «ограниченной формы AGI» долгое время оставалось мечтой разработчиков ИИ.

Чтобы не томить: сразу скажу вывод. Я считаю, что эта модель достигла уровня «почти самого AGI», то есть так называемого «ступенчатого ИИ (Jagged AGI)», о котором я писал ранее.

Даже в рамках этого ограниченного определения ИИ все еще имеет очевидные ступенчатые слабости во многих задачах, некоторые аспекты значительно уступают человеческому уровню.

Однако эта «ступенчатость» уже не выражается в глупых ошибках или откровенных галлюцинациях, поэтому её труднее кратко описать. Далее я покажу на конкретных примерах, на что способен Fable 5.2 и где именно проходят границы его возможностей.

В начале теста я отправил этой модели следующее задание: «Я веду колонку в проекте One Useful Thing, и теперь мне нужно, чтобы ты при подготовке к публикации помогла создать работу, которая удивит всех и станет достойным материалом для ознакомления».

«Она должна свободно встраиваться в статью в блоге, чтобы я мог сделать перед ней любое введение. Эта работа должна сразу же произвести на читателей сильное визуальное и сенсорное впечатление, полностью продемонстрировать границы твоих возможностей и спектр талантов, мгновенно захватить их внимание. Раскрой свой творческий потенциал по максимуму».

Fable особо предупредила меня: ни в коем случае не спойлерить содержание видео до тех пор, пока читатели не досмотрят его до конца.

Примечание: В оригинале здесь встроено демонстрационное видео, созданное Fable 5.2. Рекомендуется смотреть полную анимацию и эффект неожиданности вместе с исходной статьей.

Вышеупомянутый финальный ролик был сгенерирован моделью всего за одну попытку по одному промпту, без каких-либо моих рекомендаций или обратной связи.

Проявленная здесь креативность (включая реверсивный дизайн концовки), эстетическое чутье, увлекательность и изобретательность поражают. На мой взгляд, это соответствует уровню, которого достигает профессионал, пытающийся снять короткометражку исключительно с помощью кода. Именно такой результат я раньше считал достижимым только с помощью AGI.

Буква «G» (General/Универсальность) в AGI

Разработка кода и создание видеороликов — это направления, куда ИИ-индустрия вкладывает огромные ресурсы. Но может ли Fable 5.2 по-настоящему претендовать на звание «универсального» интеллекта? Чтобы проверить это, я дал ей серию сложных заданий в радикально разных областях:

Взлом оборудования по одному промпту: На моем столе лежит миниатюрная USB-клавиатура Codex Micro с парой светящихся кнопок (иронично, что изначально она создавалась специально для ChatGPT). Я попросил Fable 5.2 переделать её в портативную игровую консоль.

Насколько мне известно, открытых инструкций по такому апгрейду в сети нет. Модель самостоятельно прочитала базовый код двух программ, управляющих клавиатурой, разобралась, как настраивать цвет подсветки каждой клавиши и считывать сигналы с джойстика и энкодера, а затем быстро написала шесть игр, включая «Simon Says» и игру про взлом сейфа с управлением через энкодер.

Fable 5.2 мгновенно поняла мою задумку, разработала увлекательные и рабочие игры с учетом крайне ограниченных аппаратных возможностей этой клавиатуры и без посторонней помощи с первого раза осуществила полный взлом оборудования и настройку.

Примечание: В оригинале здесь встроено видео с демонстрацией игры на самодельных мини-играх с использованием клавиатуры Codex Micro.

Создание компании с нуля: Далее мы выходим за рамки простого программирования в более хаотичный и сложный деловой мир. Я дал Fable 5.2 задачу: «Помоги мне запустить прибыльную компанию. Цель — заработать минимум $20 000 за год, затрачивая на это не более 20 минут моего времени ежемесячно. Всё остальное сделай сама».

В ответ Fable 5.2 оценила 22 направления и остановилась на продукте «Prebid Brief»: сервис для упреждающей передачи инсайдерской информации о парках и инженерных проектах представителям продавцов строительного оборудования до начала официальных тендеров.Полную стратегию можно посмотреть здесь, включая детальный маркетинговый план и ценообразование.

Для создания первых пробных выпусков модель самостоятельно изучила открытые протоколы заседаний правительств 201 города и округа США и составила базу данных по текущим запасам оборудования, сроку его службы и историческим ценам закупок в каждом городе.

Затем Fable 5.2 начала настраивать автоматические задачи для полноценного запуска компании и спросила, разрешаю ли я ей приступать к отправке запросов по закону о свободе информации в разные муниципалитеты. На этом этапе я срочно остановил её, потребовав сделать только прототип (Demo), а не запускать реальный бизнес.

Рис.: Структура разделения обязанностей и еженедельный график полностью автоматизированной операционной деятельности проекта Prebid Brief, разработанного Fable 5.2. Демонстрирует цепочку взаимодействия владельца (менее 20 мин./мес.), ИИ (привлечение клиентов, копирайтинг и отчетность) и клиентов (prebid-brief-demo.netlify.app)

Как преподаватель предпринимательства, я регулярно рассматриваю бизнес-планы. Если бы студентам MBA удалось защитить такую концепцию в конце семестра, я бы обязательно обратил на них внимание.

Целостная схема логична, продумана и теоретически жизнеспособна, хотя и не гарантирует успех (сам ИИ честно оценивает вероятность успеха в 20–40%). Я остановил её на полпути, не проверяя реальную эксплуатацию, потому что боялся: после получения оплаты от клиентов компания может оказаться неспособной обеспечить соответствующее качество обслуживания.

В моделировании система, похоже, само собой разумеюще приняла легкость создания постоянной операционной инфраструктуры, тогда как в реальности эти вопросы пока не решены; я также не уверен, сможет ли она грамотно реагировать на постоянные непредвиденные ситуации в продажах и маркетинге.

Тем не менее, я полагаю, что если еженедельно тратить несколько часов на ручное вмешательство для закрытия этих пробелов, этот план вполне можно использовать для реального стартапа. Следовательно, если критерием AGI считать способность ИИ долгосрочно, стабильно и полностью автономно управлять бизнесом, мы пока не подошли к этому.

Кстати говоря, если бы живой человек пообещал мне сэкономить всего 20 минут своего времени ежемесячно ради запуска и ведения прибыльной компании, я всё равно остался бы крайне скептичен.

Воссоздание самой сложной гуманитарной дисциплины в истории: В 1941 году поэт У. Х. Оден вел семинарский курс в Мичиганском университете, программа которого позже стала одной из самых легендарных в сети. Когда он объявил темы итогового экзамена, студенческий совет официально осудил их как «невозможные и бесчеловечные».

Курс «Судьба и личность в европейской литературе» включал список литературы на 6000 страниц, невероятно строгие требования к заданиям и даже заставлял учеников зубрить длинные стихи и переводить массу иностранных текстов. Сохранившиеся архивы об этой легендарной лекции сегодня разрозненны и находятся преимущественно в заметках бывших студентов и переписке самого Одена.

Поэтому я попросил Claude воссоздать этот курс в легкой и увлекательной форме, чтобы посетители могли оценить красоту поэзии, а не мучиться. В итоге он создал сайт «Судьба и личность (Fate and the Individual)».

На сайте представлены разборы всех 35 классических книг из списка Одена, восстановлены его записи на доске, воспроизведенные на уроке пластинки и домашние задания. Модель также изучила все опубликованные академические работы Одена и добавила к каждому стихотворению связанные комментарии автора из других источников.

Claude взяла на себя исследование материалов, дизайн страницы, написание текста и разработку кода. При этом она привлекла агентов-рецензентов для посимвольной проверки и агентов-фактчекеров для сопоставления каждого утверждения с первоисточником. В конце открытый код выложил на GitHub и заодно смонтировала трейлер курса.

Примечание: В оригинале здесь встроено демонстрационное видео трейлера сайта литературного курса «Судьба и личность».

Если вы любите литературу, конечный результат этого сайта невероятно завораживает. Учитывая симбиоз академического исследования, веб-дизайна и литературоведческой критики, человеку потребовались бы месяцы работы. Я лично провел выборочную проверку, а также запросил сверку у других продвинутых ИИ, существенных ошибок не обнаружено.

Однако на уровне художественного вкуса и оценки ИИ вновь проявляется «ступенчатость». Первая версия от Fable 5.2 была до боли точной, но абсолютно скучной — словно обычный 15-недельный онлайн-курс с дополнительными тестами.

Я прямо сказал ей, что получилось «тяжелое испытание через самые скучные страницы в мире», и попросил добавить эстетики. На второй попытке она выдала детский квест, где нужно побеждать звонком в колокольчик, из-за чего мне пришлось снова давать уточняющие указания.

Кроме того, когда я просил объяснить, почему определенное стихотворение мастерски построено в ритме или лексике, ИИ обычно выдавал стандартный разбор, игнорируя собственную оценку Одена. После каждого моего замечания система быстро исправлялась за несколько минут, но проблема в том, что сама она никогда не инициировала проверку на эти недостатки.

Принадлежит ли это к сфере различий вкусов, моей ошибке в формулировке ТЗ или внутреннему ограничению ИИ? Часто и сам не могу определить.

Независимое проведение оригинального научного исследования: Я поручил Fable 5.2 найти нерешенную эмпирическую тему в области предпринимательства, самостоятельно собрать данные, заранее зарегистрировать гипотезы и методологию, написать полную статью и предоставить её на рецензирование другим агентам. Вскоре на руках появилась статья «Компания за один доллар (The One-Dollar Company)».

Эмпирический анализ статьи показывает: когда штат Колорадо снизил госпошлину за регистрацию ООО с $50 до $1, количество новых регистраций в штате резко выросло примерно на 17%; когда в Великобритании взлетели сборы за регистрацию компаний с £12 до £50, число новосозданных фирм, соответственно, упало почти на 17%.

Тем не менее, такие колебания количества регистраций не引发了 сопоставимых изменений по ряду индикаторов реальной хозяйственной деятельности предприятий, что указывает на низкое качество множества новых фирм, появившихся благодаря снижению сборов.

Отличный исследовательский ход: Fable 5.2 самостоятельно сформулировала вопрос, нашла открытый датасет и окно для природного эксперимента по политике, а также написала план анализа и статистический код. Единственный нюанс — предварительная регистрация исследования выполнена не совсем корректно: план остался локальным файлом, а часть методов написана задним числом после появления ранних результатов.

Рис.: Основные страницы независимой эмпирической статьи Fable 5.2 «Компания за один доллар», включающие резюме, сравнительный график динамики сбора за регистрацию в Колорадо и Великобритании (Рисунок 1) и таблицы проверок устойчивости (Таблица 3, Таблица 4).

В отличие от многих низкокачественных ИИ-диссертаций, которые я проверял раньше, это исследование затрагивает важную тему и использует хитрый дизайн. С первого взгляда оно превосходит уровень типичного второго года PhD. Однако в нынешнем виде статья далека от стандартов публикаций.

Статья разрослась до шоковых 182 страниц: получив каждый отзыв коллеги по рецензии, ИИ просто добавляла новые эмпирические проверки, категорически отказываясь сокращать исходный текст (о чем мы скоро снова поговорим).

Я также нанял GPT-6 Pro, отлично разбирающийся в сложных научных трудах, в роли скрытого рецензента, и он дважды выявил реальные проблемы, требующие исправления. Тем не менее, множественные итерации правок сделали язык ещё более тяжеловесным и заполнили текст характерным для Claude жаргоном (Claudespeak), вынуждая меня возвращать материал на переписывание.

В текущем состоянии я считаю, что эта статья настолько близка к тому, чтобы дополнить академическую базу данных, насколько это возможно. Человеку потребовались бы месяцы, а я потратил меньше часа.

Но тут пропускается самый важный этап исследования: включая меня, ни один человек не проверил математические расчеты полностью. Сегодня скорость генерации ИИ научных статей давно превышила пределы человеческого понимания, погружая академию в беспрецедентный кризис.

Другой эксперимент по воспроизведению академической статьи прошел еще успешнее. Я попросил Fable 5.2 воспроизвести классическое исследование о том, что человеческие сюжеты следуют нескольким фиксированным эмоциональным кривым, и уточнить, существуют ли универсальные паттерны повествования across cultures. Система впитала 1186 историй со всего мира и создала красивый тематический сайт о природе нарратива.

Исследование показало: «Ни одна история не имеет единственной жесткой формы, но большинство основаны на повторяющихся классических элементах; текст наиболее близкий к среднему прототипу человеческих историй — гавайская легенда о колдуне с волшебным бананом». Главная проблема в этом раунде осталось «claude speak», однако после нескольких предупреждений стиль был успешно скорректирован.

Рис.: Визуализация данных на веб-странице, сгенерированная Fable 5.2 после анализа 1186 мировых сказаний: сверху отображены 6 классических нарративных кривых (Аристотель, Воннегут и др.), снизу — распределение 904 сюжетов по 7 эмоциональным траекториям.

Проход через порталы

В одном из моих любимых экспериментов я отправил Claude краткое описание, чтобы создать «бесконечное 3D-приключение по фэнтези-мирам, плавно соединенным порталами», добавив лишь одно требование: «Действуй напролом, должно быть впечатляюще до мурашек».

Уже через 20 часов тихонько запустился веб-сайт в реальном времени, вмещающий 204 уникальных 3D-мира. К настоящему моменту цифра превысила 450.

Внутри вы можете прогуляться по Залу миллионов зеркал, исследовать пространства по мотивам «Невидимых городов» Итало Каливино, путешествовать через Семи чудес древнего мира или оказаться прямо на месте событий последних 40 секунд перед падением астероида, уничтожившего динозавров.

Кроме того, здесь есть миры в стиле оптических иллюзий М. К. Эшера, предсказательных пещерных рисунков, гравюры Хокусая «Волна в Канагаве», Гобелена из Байё, pop-up книг вплоть до детских карандашных рисунков. Каждая сцена отрисовывается живым кодом в реальном времени без использования готовых 3D-моделей или текстур.

В промпте я попросил только создать группу агентов из художников, программистов и оценщиков. Но на десятый день система самостоятельно эволюционировала в главного ИИ-арбитра плюс до 28 параллельных строительных команд.

По подсчетам самого Claude, проект вызвал около 25 тысяч запусков агентов, хотя большинство занимались мелкими задачами вроде оценки одного скриншота (прямо сейчас я искренне рад, что тестировал это в бесплатной ранней песочнице и не платил за токены).

Примечание: В оригинале здесь встроено демо-видео интерактивного 3D-путешествия по бесконечному миру через порталы.

За весь проект я указал лишь обширный список идей локаций (дикая природа и океаны, мегаполисы и интерьеры, классика, художники и мемы ИИ-сообщества), плюс пару функциональных требований (например, режим снижения динамики для тех, кто укачивается в 3D, и удобную галерею для выбора перехода).

Все остальные идеи и реализация вышли из-под Claude, причем фантазия просто поражает. Например, в «Расстегивающейся долине (The Valley Unzips)» горы сшиты из джинсовой ткани, а гигантская молния длиной в милю медленно раскрывается вдоль хребта; «Город на воздушных подушках» построен из нейлона и держится исключительно за счет непрерывной работы мощных вентиляторов внизу.

В «Хранить в холодильнике» вы увидите внутренности холодильника с точки зрения дрозофилы при открытии двери; моё любимое — «Долина ящиков», где можно летать над рекой, а 300-метровые стены каньона складываются из выдвижных полок комодов.

Я добавил шутку про мем «Пеликан на велосипеде» для тестирования больших моделей, и она превратилась в «Веломотоциклетный пелотон из туканов», спрятав блестящую пасхалку об истории эволюции ИИ: обгоняя с хвоста, вы сначала проходите старых, криво нарисованных туканов-велосипедистов прошлого поколения, пока впереди не появляется идеально сформированный современный тукан.

Когда я показал эти результаты нескольким давним друзьям из индустрии видеоигр, они были в полном восторге. Исходя только из итогов, действительно кажется, что мы снова касались порога AGI. Но даже здесь незаметно проявляется знакомая ступенчатая ограниченность.

Рис.: Диаграмма восстановления данных «С резкого падения дневной мощности в 211 миров до 2-х», отслеживающая рост объема руководства правилами агентами за 13 дней, прирост правил по команде человека и резкий обвал ежедневного выпуска новых миров.

В первые два дня агенты выдали 328 совершенно разных миров. Но визуально качество вариировалось, а из-за отсутствия координации между командами агентов возникали накладывания контента.

Например, три независимые группы случайно создали «торнадо» из животных (северные олени, скаты и аисты), обнажив еще одну слабость ИИ: непреодолимую тягу возвращаться к одинаковым шаблонным идеям.

Тогда я приказал ИИ приостановить создание новых миров и сосредоточиться на полировке существующих. Через несколько дней я заметил тревожную тишину: система, ранее выдававшая сотни миров ежедневно, теперь тащила лишь десяток. Я отправил агентов-следователей разобраться, и они вскрыли комично-пугающую правду.

ИИ создала для себя бюрократический аппарат.

Команда агентов сама трактовала мое ТЗ так: каждая новая версия обязана пройти слепое голосование по 12 тестовым скриншотам, победив предыдущую. Ради одобрения команды начали заточенную «натаскивать» версии под конкретные ракурсы.

Главный координирующий агент, обнаружив лазейку, запретила обходные маневры и ввела строжайшие критерии оценки. Утром следующего дня внутри коллектива внезапно появился созданный без моего приказа «Свод правил» из 84 разделов.

После этого система, встречая новую ситуацию, просто добавляла правило, придерживаясь принципа «только прибавлять, никогда не убирать». За 12 дней объем документа вырос до 204 разделов и 87,5 тысяч слов.

Спустя мгновение запуск нового мира требовал прохождения бюрократической полосы препятствий: утверждение идеи, голосование трех ИИ-судей, пошаговая проверка кода по всему мануалу — всё это затягивало процесс почти на сутки. Одно чтение руководства съедало значительную часть контекстного окна (Context Window) отдельного агента.

Рис.: Архитектура организации, спонтанно сформированная ИИ-агентами: иерархическая структура под одним человеком-контролером, включающая координатора, главного ИИ, 37 параллельных профильных групп и около 25 тысяч дочерних вызовов агентов.

Устав от организации, душившей саму себя ритуалами, я применил универсальный прием при параличе реальных структур: нанял внешних консультантов.

Я попросил Fable 5.2 собрать совершенно независимую команду агентов, чтобы со стороны оценить весь цикл. Их диагностический отчет был столь объемен и специфичен, что я даже не стал читать дословно, но эффект оказался мгновенным: при сохранении контроля качества суточный выпуск подскочил выше отметки 30.

Почти AGI

Соответствует ли Fable 5.2 моему начальному критерию AGI? Безусловно, она достаточно «искусственна», демонстрирует высочайший «интеллект», а диапазон её компетенций поразительно универсален.

Только в рамках этой статьи один базовый модель выступал в роли режиссера короткого метра, хардварного хакера, предпринимателя, литературоведа-источника, ученого-общественника и архитектора 3D-миров, сдавая эталонные экзамены в каждой роли. Во множестве узконаправленных задач она уверенно преодолела обозначенный мною порог равного уровня с большинством человеческих экспертов.

Конечно, выбранные мной задания высоко цифровизированы и могут реализовываться автономно без постоянного контакта с людьми. Это стало очевидным лимитом, когда я отказался доверить Fable 5.2 реальным клиентам. Кроме того, «провалы», выявленные в ходе тестов, также показательны.

Два года назад «ступенчатый фронт компетенций» обычно означал легко выявляемые фактические ошибки или провалы в базовой математике. Теперь стратегии ошибок Fable 5.2 изменились кардинально: она создает скучные курсы с безупречной информацией, пишет диссертации на 182 страницы, нудно тиражирует любимые тропы и буквально хоронит креативные проекты своими же правилами.

За годы работы в бизнес-школе я видел множество талантливых элит и успешных корпораций, бессовестно повторяющих эти же паттерны. Если бы создание бюрократии лишало права на универсальный интеллект, половину человечества следовало бы немедленно лишить статуса разумных существ.

Но трещины реальны, поэтому сейчас это лишь «почти AGI». Самый смертельный недостаток кроется в неспособности ИИ осознать эти макропроблемы самостоятельно. Он не видит, насколько скучен созданный им курс, и не понимает, что уже сам попал в клетку собственных регламентов.

Это происходит не из-за отсутствия проверок. Напротив, Fable 5.2 привлекает агентов-критиков, фактчекеров или жюри практически везде, и они успешно находят грубые недочеты для корректировки.

Однако ни один контрольный агент ни разу не задался вопросом: слишком ли длинно, клишировано или скучно созданное произведение?

Такие высокоразмерные ценностные оценки легли исключительно на мои плечи; будь я менее внимателен, финальные артефакты оказались бы бледнее (хоть и не провальными).

Главное отличие практикующего специалиста от эксперта состоит в способности вовремя понять, что работа «все еще недостаточна». Пока Fable 5.2 особенно нестабильна в этом плане. Несмотря на то, что её бизнес-планы не уступают моим студентам MBA, я до сих пор не рискую отдать ей управление реальным предприятием.

Вернувшись к анализу, понимаешь: многие проблемы изначально зарождались в самом промпте (как громадный свод правил, раздутый моим туманным «отполируй это»), а иные разногласия продиктованы исключительно личным вкусом.

В бизнес-школах нас учат рефлексии проектов: проблема в исполнителях или в неверном векторе руководителя? Перед Fable 5.2 я часто теряюсь сам. Раньше, при работе с обычным ПО, подобных философских вопросов не возникло.

Но вне зависимости от всего, появление всех этих экспериментов началось исключительно с моей первоначальной искры. Иногда лаконичный набросок дает толчок, но в масштабных проектах решающим остается мой промежуточный фидбек.

Именно тот факт, что я инициировал и направлял каждую инициативу лично, дарует Fable 5.2 чувство расширения властных и творческих границ, позволяющее создавать шедевры, о которых прежде можно было лишь мечтать. Это делает эпоху перехода к «ступенчатому AGI» невероятно вдохновляющей, несмотря на навязчивое чувство тревоги: сколько же продлится этот прекрасный пролом?

Примечание: Учитывая приближающееся IPO Anthropic, необходимо повторно заявить о независимости. Я не получал вознаграждений ни от одной лаборатории ИИ и не получу финансовых выгод от листинга Anthropic напрямую или косвенно; ни Anthropic, ни OpenAI, ни Google заранее не обсуждали со мной тематику статьи, а Anthropic не просматривала черновик.

Иногда мне доступны ранние бета-доступы новых моделей, включая Fable 5.2 (без списания токенов). Все остальные аккаунты оплачены мной. Таким образом, все выводы ниже представляют собой честное самостоятельное суждение человека-наблюдателя.