Интервью с основателем AI-платформы для подбора персонала Mercor: ИИ скоро возглавит процесс оценки талантов

Автор: MD

Издатель: Mingliang Company

Недавно два партнера американского фонда Redpoint Ventures Джейкоб Эффекрон (в центре) и Патрик Ахас (слева) в подкасте «Unsupervised Learning» («Неконтролируемое обучение») провели беседу с основателем и генеральным директором платформы по найму с помощью ИИ Mercor Брэндоном Фуди (справа). Помимо изменений в основном бизнесе Mercor — подборе персонала с использованием ИИ, — трое также обсудили будущие отношения между ИИ и человечеством в сфере труда.

Mercor была основана в 2023 году тремя 21-летними стипендиатами Фонда Тома Тила (Thiel Fellows), включая Брэнсона Фуди. В феврале этого года компания объявила о закрытии серии B на 100 млн долларов при оценке в 2 млрд долларов. Лидирующим инвестором стала Felicis Ventures, за ней последовали Benchmark, General Catalyst и DST Global и другие инвестиционные фонды. Mercor автоматизирует отбор резюме, сопоставление кандидатов, ИИ-собеседования и управление компенсациями с помощью технологий искусственного интеллекта, стремясь повысить эффективность найма и сократить человеческую предвзятость.

В интервью Брэндон Фуди отметил, что в настоящее время Mercor фактически вышла на рынок оценки ИИ-моделей и разметки данных. По мере роста возможностей ИИ-моделей множество сложных задач уже невозможно проверить с помощью самой модели или здравого смысла, поэтому разработчикам моделей требуются высококвалифицированные специалисты из профильных областей. Однако такая работа редко носит долгосрочный характер. Поскольку она схожа с концепцией «экспертных сетей», логичным шагом стало использование их платформы для поиска таких специалистов многими лабораториями ИИ. Фуди указывает, что «рынок разметки данных переходит от массового низкотехнологичного краудсорсинга к качественной экспертной разметке».

Что касается основного бизнеса — «подбора персонала с помощью ИИ», — Брэндон Фуди считает, что ИИ в области оценки талантов по текстовым данным уже приблизился к человеку, а в некоторых аспектах и превзошел его, особенно в таких сценариях, как отбор резюме и анализ текстовых материалов собеседований. Однако в мультимодальных задачах (например, оценка эмоций и атмосферы) у ИИ все еще есть пробелы.

Среди прочего, Брэндон Фуди выдвинул следующую мысль: Ввиду того что в будущем процессы найма и оценки талантов будут всё более сильно опираться на объемные контекстные данные, механики обратной связи и полнота ввода данных напрямую повлияют на эффективность модели(оценки). Например, если нанимать инвестора, подача в модель таких данных, как его взгляды из подкастов или ежедневные записи совещаний, без сомнения облегчит модели оценку когнитивных способностей, компетенций и карьерных предпочтений кандидата. В традиционном рекрутинге подобные данные либо полностью игнорируются, либо их оценка требует огромных усилий, тогда как реализация через ИИ обходится дешевле и эффективнее.

Таким образом, разделение труда между ИИ и человеком может трансформироваться: ИИ вскоре возьмет на себя ведущую роль в этапе оценки талантов, повышая эффективность и точность, — тогда как человек будет больше вовлекаться в этап «продаж» (pitching), например, коммуникацию относительно атмосферы на рабочем месте и мотивации, чтобы улучшить опыт кандидатов.

«Тренд, который я наблюдаю, заключается в том, что в будущем люди сосредоточатся на создании систем тестирования (эвалов), чтобы научить модели тому, чего они пока не умеют делать, вместо того чтобы повторно выполнять одну и ту же задачу», — сказал Брэндон Фуди.

Ниже приведен текст интервью, подготовленный редакцией «Mingliang Company» (выдержки):

Джейкоб: Брэндон Фуди — сооснователь и генеральный директор Mercor, компании, которая строит инфраструктуру для рынка труда на базе ИИ (AI-Native). Платформа Mercor уже используется для разметки данных, отбора талантов, прогнозирования эффективности, а также оценки человеческих и ИИ-кандидатов. Это очень интересная компания, находящаяся на стыке оценки в сфере найма и улучшения базовых моделей.

Команда Брендана недавно привлекла сто миллионов долларов США, и они сотрудничают с некоторыми из самых передовых ИИ-компаний. Наша сегодняшняя беседа затрагивает множество интересных тем, включая будущее роли человека на рынке труда. Мы обсуждали, какие типы разметки данных наиболее важны для улучшения моделей, Брендан рассказал о быстром взлете Mercor и ключевых решениях, которые он принимал, а также о том, где ИИ эффективен, а где бесполезен в процессе найма. В общем, это было чрезвычайно интересное общение, уверен, вам оно понравится. Брэндон Фуди, спасибо, что присоединились к нашему подкасту.

Брэндон: Большое спасибо за приглашение. Я ваш преданный фанат, мне очень волнительно.

Джейкоб: Рады видеть тебя. Думаю, можем начать сверху вниз. Для наших слушателей хочу, чтобы ты дал обзор: на каком мы сейчас этапе? Каково текущее положение дел с оценкой талантов через ИИ? Что работает, а что нет? Какие достижения сейчас?

Брэндон: Меня удивило то, как он показывает себя. Я считаю, что почти во всем, что человек способен оценить по тексту, модели уже почти достигли уровня превосходства над людьми, будь то расшифровки собеседований, письменные оценки или сигналы в резюме. Это действительно интересная дихотомия, поскольку эти технологии на самом деле крайне слабо распространены в экономике. Здесь огромный пустой пробел, и именно одна из вещей, которую мы с большим энтузиазмом хотим разрабатывать и строить.

Джейкоб: Были ли дела, которые были невозможны до появления reasoning-моделей? Например, за последние шесть месяцев модели стали лучше, какие вещи наконец-то начали работать?

Брэндон: Да, помню, когда вышел GPT-4, мы создали прототип первого ИИ-собеседника, но ничего не работало. Модель каждый второй-третий вопрос выдавала галлюцинации и прочие проблемы. Путь был очень гладким. Появление reasoning-моделей явно дало моделям колоссальный скачок в плане знаний, сделав их значительно сильнее в обработке большого объема контекста, определении акцентов и фокуса внимания.

Однако, модели все еще не так сильны в мультимодальных задачах, потому что лаборатории ранее уделяли этому мало внимания, да и применять для этого обучение с подкреплением (RL) сложнее, но мы тоже с нетерпением ждем прогресса в этой области.

Джейкоб: Какую рубежную функцию ты ожидаешь увидеть от моделей раньше всего?

Брэндон: Есть вещи, которыми отлично владеют люди, например, оценка «вайба» (vibe) — готов ли я работать с этим человеком, обладает ли он страстью и искренностью? Моделям это дается крайне тяжело. Даже самым лучшим людям сложно, не говоря уже о моделях. Поэтому я с нетерпением жду прорыва здесь и разрабатываю инструменты оценки специально для этого. Но всякий раз, когда я читаю цепочки рассуждений модели, пытаясь интерпретировать результаты нашего теста, мне кажется, что модель ведет себя куда более рационально, чем наши исследователи, отвечающие за создание тестов.

Так что модели развиваются невероятно быстро. Все видят их успехи в написании кода, но по сути мы только начинаем, и многие другие области также стремительно набирают обороты.

Джейкоб: Значительную часть вашей работы составляет проектирование тестов для людей, чтобы проверить, справятся ли они с работой. Сейчас многие занимаются ИИ-сотрудниками, например, поручают ИИ-агентам выполнять задачи сотрудников. Участвуете ли вы в этом направлении?

Брэндон: Конечно, мы много работаем в этом направлении. Кратко о предыстории компании: мы создали её, потому что считали, что по всему миру существует множество талантливых людей, лишенных возможностей, главным образом из-за высокой фрагментации рынка труда. Например, кандидаты на удаленную работу подают заявки лишь на ничтожно малое число вакансий, а компании в Сан-Франциско рассматривают лишь горстку соискателей, поскольку им приходится вручную решать проблему сопоставления. Применяя большие модели, мы можем решить эту задачу сопоставления, создать единый глобальный рынок труда, где любой кандидат сможет подать заявку, а любая компания — нанять. Но позже мы обнаружили, что с появлением новых видов интеллектуальной работы спрос на человеческие ресурсы резко вырос, особенно на тех, кто оценивает большие модели. Поэтому сейчас мы нанимаем разнообразных экспертов для ведущих ИИ-лабораторий. Эти лаборатории используют нашу технологию для поддержки, создавая тесты не только для оценки экспертов, но и для моделей и упомянутых тобой ИИ-агентов.

Патрик: Для наших слушателей: на Mercor используется много ИИ для скрининга кандидатов, обработки резюме и т.д. Можешь рассказать о ваших кейсах использования ИИ? Какой стек технологий вы сейчас применяете?

Брэндон: Хороший подход — создавать тесты для всех ручных процессов, выполняемых людьми, а затем смотреть, сможем ли мы их автоматизировать. Например, как люди проверяют резюме, проводят собеседования, сортируют и решают, кого нанять. Мы автоматизируем весь процесс: тестируем точность парсинга резюме, точность оценки его частей, точность вопросов на собеседовании, точность итоговой оценки, затем подаем всё это в контекст модели, комбинируя с рекомендациями и другими данными, чтобы в конечном итоге сделать прогноз о найме.

Патрик: В основном используются готовые модели, а вы отвечаете за создание тестов и проектирование контекста?

Брэндон: Да, для базовых задач мы используем множество готовых моделей, но на самом сложном этапе окончательной оценки кандидатов мы проводим дообучение (post-training). Мы учимся на данных клиентов: кто показал себя хорошо и почему, извлекая уроки из этих сигналов, чтобы делать лучшие прогнозы будущего найма.

Патрик: Какие неожиданные сигналы вы выявили? Может, ИИ нашел что-то, о чем люди не задумывались?

Брэндон: Примеров много. Думаю, одно из ключевых преимуществ ИИ — способность глубже анализировать все детали кандидата, замечая мелкие сигналы, которые люди иногда упускают, ведь из-за субъективной «оценки вайба» они могли бы заранее принять решение. Например, если в резюме кто-то проявляет огромный интерес к какой-либо области чисто из увлечения, а не по рабочим причинам, это становится сигналом. Или если человек учился в целевой стране, возможно, коммуникация будет проще, и он лучше впишется в команду. Эти мелочи зависят от проекта и клиента.

Патрик: Как ты думаешь, какие задачи обязательно должен выполнять человек? Ты упоминал мультимодальные задачи, но как ты смотришь на коллаборацию ИИ и человеческого интервьюера? Будет ли в будущем оценка полностью на ИИ?

Брэндон: Если говорить просто, процесс найма делится на оценку и «продажу» позиции. Этап оценки скоро станет чрезвычайно мощным, все заметят, что рекомендации ИИ значительно точнее, и начнут больше доверять его выводам. Люди продолжат играть большую роль на этапе «продажи», знакомя кандидатов с командой, ролью, атмосферой и т.д. ИИ позволяет рекрутерам и HR-менеджерам концентрироваться исключительно на нужных кандидатах, не тратя время на собеседования с неподходящими людьми. Так они смогут лучше помогать кандидатам понять условия, команду и стимулы.

Патрик: Не начнут ли люди «подгонять ответы под систему» — намеренно соответствовать сигналам теста? Встречались ли вы с этим? Например, все говорят, что учились в целевой стране.

Джейкоб: Все говорят, что учились в целевой стране.

Патрик: Да, например, все заявляют, что учились в регионе найма.

Брэндон: Да, поэтому иногда мы держим сигналы в секрете. С такой ситуацией мы сталкиваемся регулярно, как и любой крупный процесс найма. Главное — обеспечить динамичность тестов: часто менять вопросы или задавать глубокие вопросы исходя из фона кандидата. Потому что модель может провести массу подготовки к собеседованию, глубину и ширину оценки талантов мы видим беспрецедентные.

Например, когда я впервые брал интервью у топ-менеджеров, я мог тратить всего пару минут на изучение профиля в LinkedIn и заметок. Но если я прослушаю их выступления в подкастах, прочитаю написанные ими посты или статьи, а потом задам вопросы по материалам, глубина и детализация будут совершенно другими.

Джейкоб: Ваша модель отлично предсказывает успеваемость кандидатов. Требуется ли этот процесс explainability (объяснимости)? Или достаточно, чтобы black-box модель просто выдавала вывод?

Брэндон: Я считаю объяснимость важной по двум причинам. Во-первых, чтобы клиенты понимали и доверяли выводам модели, строя доверие и цепочку логики. Во-вторых, чтобы убедиться, что модель выбирает людей по правильным причинам. Поэтому объяснимость очень ценна. Но в конечном итоге экономическая форма может стать API-подобной: людям нужно выполнить работу или требуется определенное участие человека, после чего система просто выдает предсказание с интервалом уверенности о том, справится ли человек с задачей. Роль человека как посредника во всем процессе существенно снизится.

Джейкоб: Это своего рода веха доверия на пути к этой цели, звучит разумно. На этапе разметки данных сейчас есть четкая петля обратной связи, например, несколько человек размечают одни и те же данные. Как ты смотришь на вызовы применения этого подхода к более размытым областям человеческой работы? Возможно, тебе придется ждать 15 лет, чтобы получить обратную связь.

Патрик: Например, венчурные капиталисты (смеется).

Брэндон: Одна из моих позиций: если 100 человек выполняют одинаковую работу, легко построить рейтинг. Но если работа 100 человек различается, например, у основателей, деятельность каждого сильно варьируется, крайне трудно найти общие черты и определить, какие действия или информация влияют на результат. Переменных слишком много. Поэтому для крупных однородных ролей, например, найма 20 менеджеров по продажам, модель может учиться сигналам и оптимизировать. Но для сложных позиций, например, когда мы оцениваем группу стипендиатов Тила (Thiel Fellows), ситуация сложнее и больше зависит от способности модели к рассуждениям.

Джейкоб: Каковы конкретные вызовы?

Брэндон: Главная проблема в том, что в контекст модели попадает далеко не вся информация, поэтому ей нечего учиться, а люди часто забывают предоставить дополнительные сведения. Например, я слышал от друга, что продукт компании отличный, такие данные не вводятся в модель. Главная сложность — обеспечить попадание в контекст всех рекомендаций писем и нюансов межличностного взаимодействия. Мы выяснили, что на практике простое введение необходимых данных в контекст модели решает большинство проблем.

Джейкоб: Возможно, в будущем умные очки у каждого будут вести запись, мгновенно подавая информацию в модель.

Брэндон: Верно.

Джейкоб: Не приведет ли это к уровню Bridgewater Associates?

Брэндон: Возможно. Но многие компании отвергают такой подход, не желая идти на него из-за юридических и комплаенс-соображений. Тем не менее, я думаю, появятся лучшие процессы, позволяющие модели эффективнее получать контекст. Например, ИИ проводит exit-интервью, беседует с руководителями и членами команды, собирая больше деталей. У людей в голове скопилось множество тонких сведений, стоит лишь ввести их в модель — и она сделает предсказания, превосходящие человеческие.

Патрик: Сегодня всё больше основателей и других людей приводят ИИ на встречи, значит, многие совещания и общения будут записываться для обучения ИИ. Очень интересно.

Джейкоб: Мы могли бы сдавать транскрипты наших встреч ИИ, чтобы он ставил нам оценки и ранжировал.

Патрик: Ха-ха!

Джейкоб: При условии, что окажусь наверху списка.

Патрик: Как ты смотришь на нынешний рынок разметки данных? Как игроки дифференцируются? ScaleAI, похоже, далеко впереди, но сейчас появилось много новых участников. Как оцениваешь расклад сил?

Брэндон: Большинство людей не понимают ключевых изменений на рынке разметки и оценки данных. Рынок изменился не в пример двухлетней давности. Раньше модели были слабее, их легко было запутать, они постоянно ошибались. Многие задачи по разметке или тестированию могли выполнять школьники или студенты, собирая масштабные данные через краудсорсинг, например, для SFT (supervised fine-tuning), RHF (reinforcement learning from human feedback), выбирая различные варианты предпочтений.

Но по мере того как модели становятся сильнее, краудсорсинговая модель перестала работать, поскольку теперь нужны качественные кадры, которые напрямую взаимодействуют с исследователями, помогая им понять причины успешного или неудачного поведения моделей, создают сложные данные, чтобы поставить модель в тупик и отразить реальные сложности автоматизации. Наша платформа как раз позволяет быстро находить таких высококлассных специалистов.

Благодаря этому мы стремительно выросли и начали сотрудничать с крупными лабораториями. Я убежден, тренд сохранится. Компании, оставшиеся на масштабах массового краудсорсинга, столкнутся с серьезными трудностями, новые игроки сосредоточатся на качественных кадрах и будут продолжать захватывать доли рынка.

Патрик: Думаешь, потребность в людях в процессе разметки данных останется навсегда? Модели становятся всё сильнее, даже умеют обучать маленькие модели. Как видишь эволюцию в будущем?

Брэндон: Моя точка зрения такова: пока в экономике есть задачи, которые люди умеют делать, а модели — нет, нам потребуется создавать или симулировать среду для обучения моделей. Поэтому некоторые сферы будут покорены быстро: математика или код, объем данных там меньше и легко верифицируется, модели быстро справятся. Но есть и открытые области, вроде оценки перспективного основателя или многие виды интеллектуального труда. Это по своей природе open-ended задачи, сложно доказать, что такое «хорошо», требуется загружать человеческое понимание в модель. Вот почему я ожидаю порядкового роста рынка human data (обычно данные, собранные непосредственно у людей или о людях) и оценки.

Джейкоб: Если я правильно понимаю, ваша исходная «арбитражная возможность» и идея для стартапа заключались в том, что по всему миру есть отличные программисты, лишенные доступа к certain рабочим возможностям, что крайне важно для данных по программированию. Очевидно, вы расширились в другие сферы. Программирование само по себе идеальный кейс для reinforcement learning и оценки. Переходя в более размытые области и нанимая соответствующих специалистов, что пришлось изменить или улучшить?

Брэндон: Думаю, копировать эвристические методы ручной работы людей — отличная практика. Например, если хочешь автоматизировать работу консультанта, как его оценивать? Дай им кейсы, возможно, связанные с их опытом.

Джейкоб: Ваша команда наверняка отлично умеет оценивать программистов, но если подключите врачей, как поймете, какую методику использовать для их оценки?

Брэндон: Заметный момент, который ты поднял: когда мы уходим в сферы, выходящие за рамки экспертизы нашей ML-команды, нам потребуются эксперты. Нам нужны врачи, чтобы помочь спроектировать оценку и критерии тестирования для врачей, точно так же в других отраслях. Аналогично поступают исследователи. Легко определить правильный ответ на задачу по физике средней школы, но если это химия уровня PhD, исследователь без профильного образования вряд ли поймет и улучшит тест. Поэтому это один из главных изменений в оценке, о котором ты спрашивал ранее — как оценка талантов, так и проверка моделей исследователями станут гораздо более совместным процессом, требующим партнерства с экспертами для продвижения моделей вперед.

Джейкоб: Я слышал, как ты говорил, что краткосрочные контракты по разметке данных идеально подошли для вашего первоначального рынка, спрос колоссальный, это клин, приводящий к рынку труда полного цикла (end-to-end). Расскажи о пути компании к этой цели и промежуточных этапах?

Брэндон: Я писал об этом в нашем «Секретном стратегическом плане». Я считаю, сетевые эффекты рынка очень сильны, именно это создает ему защитную зону и одновременно усложняет построение. Поэтому сейчас мы сфокусированы на захвате огромного спроса, расширении сетевых эффектов и развитии самого рынка.

Параллельно мы видим, что многие крупные технологические клиенты нуждаются в большом количестве контрактников, например, десятках дата-сайентистов, софт-инженеров и т.д. Хотя эти позиции напрямую не связаны с human data, суть потребности аналогична, просто это более традиционный рынок, с которым мы раньше конкурировали с Accenture, Deloitte и прочими фирмами. Мы сделаем это вторым приоритетом, а затем расширимся на полный найм. Кстати, изначально наша компания занималась тем, что искала контрактников для друзей и для нас самих, многие из которых впоследствии были приняты на постоянку.

Эти направления логично перетекают друг в друга, обладают общей базой. Всем компаниям нужно больше кандидатов, быстрее сроки найма и выше уверенность в квалификации. Пока мы постоянно измеряем и улучшаем эти показатели, мы сможем обслуживать каждый этап развития компаний.

Джейкоб: Был ли момент, когда вы решили переключиться на human data, поняв, что шанс очень очевиден?

Брэндон: Было, еще будучи студентом. Предыстория компании: я и мои партнеры встретились в старшей школе в 14 лет, в 18 начали совместный бизнес. Они выиграли много конкурсов, я был не настолько силен, но постоянно запускал проекты. Потом мы начали нанимать международные таланты в Индии, например, сотрудничая с IIT Code Club. Мы увидели множество умных людей без работы, подумали, что можно нанимать их для проектов, друзья были готовы платить за наш рекрутинг. Так мы зарабатывали небольшие сервисные сборы, довели компанию до миллиона долларов выручки, а после выплаты зарплат получили чистыми 80 тысяч долларов.

Я был горд, но родители всё равно были недовольны. Только после раунда финансирования они успокоились. Возвращаясь к вопросу: в августе 2023-го клиент представил нас ко-фандеру x.ai, тогда они ещё сидели в офисе Tesla. Он сказал, что в Mercor есть суперинженеры из Индии, сильные в математике и кодинге. На следующий день основатели x.ai созвонились с нами, были в полном восторге. Через два дня мы зашли в офис Tesla, встретили почти весь founding-команду x.ai, кроме Илона, прямо перед их встречей с Илоном. Мы всё ещё учились в университете, выглядело нереально. Мы гадали, почему им так нужен наш продукт? Рынок меняется слишком быстро, никто этого не осознал. Теперь, когда мы разрослись и заняли ключевую долю рынка, мы начали открыто об этом говорить. Тогда они ещё не были готовы использовать human data, примерно через полгода мы запустили сотрудничество с передовыми лабораториями, чтобы разогнать бизнес.

Джейкоб: Увидели назревающую волну.

Брэндон: Да, я замечаю, что многие основатели излишне настаивают на поиске PMF. Лучше ориентироваться на рыночные сигналы: наткнулись на самородок — копи. Если сначала продавать крайне сложно, масштабировать будет еще тяжелее. Нужно искать клиентов с самыми болезненными точками и глубокими карманами, готовых заплатить любые деньги за решение проблемы, и действовать на полную катушку.

Джейкоб: Вы уже вышли за рамки программирования. Пример с врачами заставляет меня подумать: стандарты оценки хороших врачей в итоге будут использоваться компаниями-разработчиками ИИ для тренировки моделей, проверяя, корректно ли врач рассуждает. Чем конкретно вы занимаетесь при работе с клиентами?

Брэндон: Один из ключевых плюсов людей сейчас в постоянной способности учиться и совершенствоваться. Мы ищем эти прокси-сигналы: например, кандидат задает правильные вопросы, верно мыслит, имеет опыт работы в среде с высокими показателями продуктивности. Всё это помогает выявлять дыры в моделях и подтягивать их навыки.

Джейкоб: Пользуетесь ли вы собственным продуктом сами? Как именно применяете его для найма?

Брэндон: Конечно, для всех позиций, кроме топ-менеджмента, мы используем свой продукт. Для руководителей тоже разместили вакансии, но чаще всего интервью провожу я лично. Скорее для промоушена позиции, нежели для фильтрации. Наши ИИ-собеседования очень эффективны, зачастую являясь самым прогностическим сигналом. Многие недооценивают предвзятость «оценки атмосферы» в рекрутинге, люди всегда уверены в собственной правоте.

Джейкоб: Собственно, рекрутинг — одна из первых отраслей, где царит «вайб».

Патрик: У венчурщиков такого точно нет.

Брэндон: Поэтому нам нужно принимать решения на основе метрик успеха. Например, когда мы нанимали руководителя стратегического проекта, раньше это делали люди через разбор кейсов, теперь прошли полное ИИ-собеседование, и конверсия в штат даже выросла. ИИ-собеседования делают сравнение объективнее и стандартизированнее, избавляя от субординации разных интервьюеров.

Патрик: Этапы тестирования вы заказываете internally или берете подрядчиков с рынка? Много внутренней работы?

Брэндон: Мы привлекаем специалистов с рынка для наших внутренних тестов, процесс схож с клиентским. Разумеется, исследователи продолжают участвовать: анализируют ошибки модели, улучшают классификацию неточностей, оптимизируют данные для пост-тренинга. Процесс и набор людей абсолютно идентичны.

Джейкоб: Вы упоминали использование мультимодальных возможностей для оценки страсти и прочих черт. Какие планы на видео, аудио и прочее в будущем?

Брэндон: Я часто думаю о роли reinforcement learning (RL) в улучшении понимания видео. RL отлично справляется с поиском закономерностей, но видео перегружено информацией, из-за чего моделям тяжело. Нам предстоит продумать, как выделять ключевые сигналы в мультимодальном контексте, например, возбужден ли кандидат или жульничает. Нам нужно генерировать подходящие данные, направленные на эти сигналы, а передовые лаборатории параллельно работают над усилением базовых возможностей.

Джейкоб: Как ты сказал, буквально за несколько лет рынок разметки радикально изменился. Что будет через два года? Сохранится ли эта индустрия? Или останутся только эксперты?

Брэндон: Думаю, останется важнейшим сегментом. Изначальная цель стартапа — консолидировать рабочую силу для более эффективного распределения. Ключевой момент — определить роль человека в экономике через пять лет. Тренд, который я наблюдаю, заключается в том, что в будущем люди сосредоточатся на создании тестов, чтобы научить модели тому, чего они пока не умеют делать, вместо того чтобы повторно выполнять одну и ту же задачу. Поэтому я глубоко верю в трансформацию интеллектуального труда в сторону тестирования: формат может стать динамичнее, например, диалог с ИИ-интервьюером для решения проблем. Это важная часть экономики, хотя большинство пока не осознает этого путая рынок human data и оценки с рынками SFT и RHF, где стоимость обоих типов данных падает, а бюджеты сокращаются.

Патрик: Какие навыки, по-твоему, стоит развивать в первую очередь? О чем бы ты посоветовал студентам, что им изучать?

Брэндон: Однозначно порекомендовал бы стремление к быстрому обучению, потому что изменения происходят слишком стремительно. Во многих сферах люди уверены, что модель долго не справится, а прорыв случается внезапно. Чаще сотрудничайте с ИИ. Участники нашего рынка часто рассказывают, что им нравится общаться с моделями весь день, думая над тем, что они не умеют и чего им не хватает. Этот опыт помогает на практике понимать, где использование ИИ эффективнее. Поэтому应尽量 активнее пользоваться моделями, изучить их сильные и слабые стороны в данной сфере. Это крайне полезно, но сказать наверняка, стоит ли становиться софт-инженером или кем-то другим, невозможно.

Джейкоб: Интересная мысль. В будущем нам, возможно, придется тратить много времени на тренировку моделей. Hard skills имеют четкие критерии, а вот субъективная область практически безгранична. Возможно, позже мы сможем зарабатывать деньги, работая на собственные персональные модели.

Брэндон: Абсолютно согласен. Также советую обращать внимание на сектора с высокой эластичностью спроса. Например, разработка ПО: экономика способна поглотить спрос в 100 или даже 1000 раз больше. Пусть это не 1000 новых вебинфраструктур, а тысячи итераций функций, оптимизация алгоритмов сортировки и прочее. В отличие, спрос на бухгалтеров, например, жестко фиксирован. Поэтому стоит максимально стремиться в отрасли с потенциалом кратного роста спроса, способствующим общему увеличению производительности. Это наиболее страхованный путь.

Патрик: Точно сказано. Дня два назад общался с одним основателем, он сказал, все вокруг твердят, что софт-инженеров ждет конец, но на самом деле я испытываю острую потребность в большем числе софт-инженеров.

Брэндон: Я тоже в восторге. Если продуктивность наших софт-инженеров вырастет в 10 раз, мы, вероятно, наймем еще больше софт-инженеров. Отношения между спросом и ценами всегда вызывают восхищение.

Джейкоб: В начале пути вас наверняка искушало создание колаборативных инструментов для рекрутинга или софта для агентств. Почему вы решились на end-to-end сервис? Это решение сразу заложено было?

Брэндон: Изначально у нас было множество размышлений на основе first principles, что стало преимуществом, ведь мы не знали о традиционных методах. Мы понимали, что проблема, которую пытаются решить друзья — найти надежных софт-инженеров — требует комплексного подхода. Поэтому мы взялись за всю цепочку. Но оглядываясь назад, сейчас считаю, что всё больше компаний пойдет путем полной автоматизации процесса: нет смысла разрабатывать колаборативные инструменты под должность, которая может исчезнуть в будущем; гораздо разумнее взять под авто целую воронку, дать ей учиться и оптимизироваться на основе обратной связи.

Джейкоб: Действительно, особенно ваша платформа рынка трудовых ресурсов, созданная под данные, идеально подходит для реализации end-to-end, пока возможности ИИ еще не окончательно сформировались. Если бы этого рынка не было, возможно, вы бы начали с инструмента для коллаборации.

Брэндон: Верно. Например, в случае full-time найма клиенты однозначно хотят видеть сотрудников в своем штате. Поэтому мы повезло, операционная модель компании и запросы рынка идеально совпали.

Джейкоб: Изначально вы помогали друзьям находить контрактников. Сначала это воспринималось как побочный проект, а потом стало основным бизнесом? В какой момент вы приняли твердое решение посвятить жизнь предпринимательству?

Брэндон: На самом деле, я еще в старшей школе запускал свои проекты, бизнес шел неплохо, поэтому изначально не планировал идти в университет. Когда поделился с родителями, они расстроились, но ради спокойствия семьи все же подал документы. Постоянно твердил им, что брошу учебу, но они не верили, думая, что коль договорился — сдержу слово. Но я каждую семестр повторял одно и то же, и в итоге действительно уволился, даже без предупреждения, потому что предупреждал об этом уже пару лет.

Патрик: Я давно знал, что ты бросишь учебу.

Брэндон: Для меня было очевидно желание запустить собственный бизнес, совершать значимые вещи, а не ходить на бессмысленные лекции. Я всегда искал дело, стоящее того, чтобы посвятить ему время. Мои соучредители изначально тоже вели это как side project, стремясь собрать доказательства для родителей, чтобы те разрешили бросить университет. Их папы требовали успешного раунда финансирования: ни миллион выручки, ни прибыль не устраивали, нужна была seed-финансирование. Так что именно родители выступают реальными VC — только наличие инвестиций придает «credibility».

Джейкоб: Именно. Без родителей нет венчура.

Брэндон: Это называется «endorsement авторитета».

Патрик: Говоря о финансировании: вы незадолго до этого (заметь: в феврале текущего года) закрыли серию B на $100 млн. Поздравляем! Как планируете использовать средства? Как определяли подходящий момент для привлечения капитала?

Брэндон: По факту единственным раундом, который мы инициировали самостоятельно, был seed, исключительно чтобы убедить родителей выпустить нас. И серию A, и серию B «выбили» инвесторы своим рвением. Наша концепция — сохранять разводнение на уровне около 5%, формируя «арсенал». Средства пойдут на исследования и разработки: рекомендательные мотивационные системы, инновационные потребительские продукты, расширение предложения на рынке. Также направим ресурсы на больше post-training данных, чтобы улучшить предиктивную мощность модели. Главный bottleneck для ML-команды — необходимость создания большего количества тестов и сред для обучения, что идеально резонирует с нашим core business.

Джейкоб: Среди ваших клиентов немало компаний, разрабатывающих foundation models. Как видишь будущее этого сектора? Некоторые прогнозируют выживание лишь пары-тройки гигантов. Сколько игроков останется в итоге? Как они будут дифференцироваться?

Брэндон: Отличный вопрос. Я твердо уверен, что OpenAI сегодня и завтра останется продуктовой компанией, а не API-провайдером. Многие API-функции могут Commoditize, главное — насколько глубоко интеграция со сценариями клиентов, именно отсюда рождается pricing power. Но рынок достаточно велик, каждая сможет аккумулировать существенную ценность в своей нише. Даже лаборатория, узконаправленная на hedge fund, сможет генерировать колоссальную прибыль. Любят спорить эмпирически, утверждая завышенность valuation подобных корпораций, но если мыслить с first principles «автоматизации интеллектуального труда», то эти топовые коллективы гарантированно построят великие компании.

Джейкоб: Сейчас модели демонстрируют мощную кросс-доменную generalization, поэтому возникает ощущение winner-take-all. Но сохранятся ли лидеры в отдельных нишах? Приведенный пример с хедж-фондами крайне любопытен, он доказывает, что в application layer остается простор.

Брэндон: Верно. Фокусировка невероятно важна. Генерирование универсального API — плохой бизнес, в итоге останется единственный победитель. Основная ценность будет создана на application layer, каждому vertical и customer scenario требуется deep customization.

Джейкоб: Считаете ли вы, что такие customized models потребуют множества сложных разметок?

Брэндон: Несомненно. Каждая трейдинговая компания сможет проводить тесты под свою уникальную аналитику сделок, оценивая, какие выводы точны, а какие ошибочны, конвертируются ли они в профит. Если появится топовая команда пост-тренинга, заточенная исключительно под трейдинг, действующая быстрее человека, возможности будут поражают воображение.

Джейкоб: Создается впечатление, что оптимальная стратегия для некоторых трейдинговых фирм должна заключаться в паузе торгов и девятимесячном фокусе на пост-тренинге моделей.

Брэндон: Я реально удивлен: многие трейдинговые фирмы вкладываются в пост-тренинг куда меньше, чем ожидалось. Возможно, due to географической дистанции: они в Нью-Йорке, labs и researchers находятся в Сан-Франциско, plus top Researchers предпочитают заниматься чистым AI, не желая ради денег погружаться в трейд. Но уверен, они сделают massive investment, перейдут к nine-figure и ten-figure partnership с передовыми labs, кастомизируя собственные приложения.

Джейкоб: Какая главная unknowns в AI индустрии сейчас? Если бы узнал ответ, какое влияние это оказало бы на операционную деятельность компании?

Брэндон: Всё тот же твой предыдущий вопрос: чем займутся люди через пять-десять лет? Вопрос сложнейший, являющийся частью миссии компании. У нас есть множество интуиций, но мир меняется гипертрофированно. Множество jobs will vanish, нам нужно яснее понимать будущие new opportunities и economic roles человека. Крайне важно.

Джейкоб: На политическом уровне, что еще возможно реализовать? Какую роль должны играть другие институты?

Брэндон: Обязательно. Многое, чем озабочены регуляторы, вообще оторвано от reality населения. Скорее всего, следующие два-три года вызовут искреннюю тревогу: ИИ-модели в ряде jobs оказываются значительно круче людей. Необходимо найти пути интеграции человека в экономику, это неизбежно. Это не tail-risk event типа low-prob high-impact, это definite trend. Поэтому regulators должны proactively планировать будущее, управлять ожиданиями граждан, прозрачно доносить картину мира через несколько лет.

Джейкоб: Согласен, сейчас толком не понятно даже насчет reskilling.

Брэндон: Абсолютно. Надеюсь, эта тема получит большее обсуждение, больше фокуса на form-factors of next-generation work, предоставляя guidance для студентов и job seekers.

Джейкоб: Мы любим завершать интервью рубрикой fast Q&A, поднимая broad questions, хочется послушать твой короткий take. Как думаешь, что overrated, а что underrated в AI space?

Брэндон: Отличная question. Считаю, evals are severely underrated. Несмотря на current hype, я убежден, степень недооценки все еще велика.

Джейкоб: Последний бастион human capabilities.

Брэндон: Overrated, на мой взгляд, это traditional datasets вроде SFT, RHF. Некоторые корпорации влили десятки миллиардов долларов в это направление, но необходимости в этом нет. Расходы должны снизиться на order magnitude. Trend изменится.

Патрик: Как изменились твои взгляды в AI пространстве за последний год?

Брэндон: Интригующе. Я существенно форварднул expectations timeline по automation software engineering. Ранее скептически относился к словам researches о том, когда ИИ напишет PR с более высоким success-rate, чем человек. Теперь склоняюсь к реализации ближе к концу этого года или H1 следующего. Will be incredibly cool.

Джейкоб: Согласен. Честно, пару лет назад новость о современных возможностях ИИ вызвала feeling paradigm shift, будто меняет мир. Реализовавшись, impact оказался менее shock-level. Думаешь, это спровоцирует massive shakeup employment в software engineering или merely incremental change ~10-20%?

Брэндон: Core factor всё тот же mentioned выше demand elasticity. В short-term horizon not worried about engineer unemployment: tools make them more efficient, resulting in higher software write volume. Однако, nature of roles will undeniably shift. Те, кто product-savvy и понимает model limitations, получат comparative advantage.

Патрик: Besides your company, which AI startup你最 bullish on?

Брэндон: Я крайне позитивен в отношении code capability от OpenAI, пусть answer не совсем contrarian vibe. Also believe в ближайшее время появится massive wave customized agents. There is a French startup currently operating under stealth that genuinely catches my eye.

Джейкоб: Значит, ты не можешь озвучить это в podcast. После record session we will force you to spill the beans (laugh).