Конспект подкаста | Дженсен Хуанг: молодым людям следует научиться задавать вопросы ИИ, NVIDIA хочет оставить после себя не только игры и чипы

Подготовка и адаптация: TechFlow

Введение TechFlow: В этом подробном интервью длительностью 63 минуты известная техноблогерша Клео Эбрам избегает привычных финансовых отчетов и биржевых спекуляций, погружаясь вместе с соучредителем и генеральным директором NVIDIA Йенсеном Хуанном в принципиально важный диалог об эволюции базовых вычислений и будущем технологий человечества. Начиная с триумфа 30-летней давности, обеспеченного игровыми видеокартами, через преодоление более десяти лет скептицизма Уолл-стрит ради создания архитектуры CUDA и вплоть до 2012 года, когда она почувствовала искру, запустившую революцию глубокого обучения через AlexNet, Йенсен Хуанн детально разбирает, как NVIDIA шаг за шагом перестраивала программно-аппаратный стек современных компьютеров, формировавшийся последние 65 лет.

На пороге качественного перехода от генеративного ИИ к физическому ИИ (Physical AI) Йенсен Хуанн подробно рассказывает о технологической базе «модель мира + физическое моделирование», построенной на платформах Cosmos и Omniverse, и рисует горизонт на десятилетие вперед: все объекты обретут форму роботов, а у каждого человека появится личный цифровой компаньон уровня R2-D2. Он решительно отвечает на философские споры о специализации и универсальности архитектур чипов, анализирует стратегические ставки в области цифровой биологии и климатического прогнозирования, а также дает молодым специалистам главный совет — освоить искусство постановки вопросов. Когда его спрашивают, как он хотел бы, чтобы его запомнил мир, он дает самый простой и грандиозный ответ: «Все очень просто: они оказали исключительное влияние».

Гость: Йенсен Хуанн (соучредитель и генеральный директор NVIDIA)

Ведущий: Клео Эбрам (известная технологическая видеоблогерша, ведущая канала Huge If True)

Источник подкаста: Huge If True (https://www.youtube.com/watch?v=7ARBJQn6QkM)

Оригинальное название: NVIDIA CEO Jensen Huang's Vision for the Future

Дата выхода: 27 января 2025 года

Ключевые тезисы

• Идеальный компьютер должен сочетать последовательные и параллельные вычисления: В большинстве сложных программ около 10% критически важного кода несет на себе 99% вычислительной нагрузки. Эта часть идеально подходит для масштабного параллельного ускорения на GPU, тогда как остальные 90% логики управления эффективно обрабатываются CPU в последовательном режиме. Компания NVIDIA была основана именно для решения задач со сверхвысокой нагрузкой, недоступных традиционным системам.
• Игровая индустрия — лучший источник финансирования для фундаментальных исследований: Реальное время 3D-виртуальных миров изначально требовало параллельных вычислений. Важнее то, что рынок электронных игр обладает колоссальным потребительским масштабом, обеспечивая самофинансирование десятков миллиардов долларов на разработку базового программного и аппаратного обеспечения без зависимости от государственных грантов или академического финансирования.
• Суть CUDA — демократизация параллельных вычислений: Ранние исследователи были вынуждены маскировать физические или математические задачи под графические шейдеры для вызова GPU. NVIDIA создала CUDA, позволив разработчикам напрямую использовать знакомый язык C для доступа к мощности GPU. Несмотря на то что эта ставка из-за высоких затрат подвергалась жесткой критике и недоверию со стороны Уолл-стрит на протяжении более десяти лет, именно она проложила путь к последующему взрывному росту глубокого обучения.
• AlexNet побудил NVIDIA полностью пересмотреть вычислительный стек: Созданная в 2012 году командой Ильи Сутскера, Алекса Крижевского и Джеффри Хинтона модель AlexNet всего на двух потребительских видеокартах GeForce GTX 580 превзошла традиционные алгоритмы классификации изображений. Поняв, что программное обеспечение переходит от «ручного написания правил» к «самостоятельному обучению на данных», Йенсен Хуанн принял решение поставить все на AI, всесторонне перекроив архитектуру чипов, межсоединений, библиотек алгоритмов и системных решений.
• Ядро генеративного ИИ — стать универсальным мультимодальным переводчиком: Текущая волна AI беспрецедентна, поскольку такие архитектуры, как Transformer, позволяют понимать и взаимно «переводить» данные любых модальностей (текст, изображения, речь, 3D-пространство, траектории манипуляторов), стирая барьер между человеческим знанием и цифровым миром.
• Физический ИИ требует двойного привода «Модель мира + Физическое моделирование»: Большие языковые модели склонны к галлюцинациям и опираются на поиск и контекст для привязки к фактам. В физическом мире роботы обязаны обладать здравым смыслом: гравитацией, инерцией, трением и пространственной постоянством объектов. NVIDIA представила Cosmos как базовую модель физического мира и использует движок симуляции Omniverse, следующий законам Ньютона, для генерации реалистичных синтетических данных, позволяя роботам пройти миллионы тренировок в экстремальных условиях еще до выхода в реальную среду.
• Через десять лет все объекты станут роботами: Будь то автономные автомобили, умные здания, роботы-газонокосилки или гуманоиды, все подвижные объекты будущего обретут робототехнические функции. У каждого человека будет собственный пожизненный цифровой партнер (R2-D2), который будет эволюционировать вместе с пользователем, меняя форму в очках, смартфонах, ПК, автомобилях и домашних устройствах.
• Отказ от ловушки специализированных ASIC, сохранение гибкости вычислений: Противники концепции жесткой фиксации Transformer в специализированных чипах (ASIC) утверждают, что инновации не остановятся на одном конкретном алгоритме. Превращение компьютера в устройство с единым назначением равносильно превращению его в микроволновку. NVIDIA неизменно строит гибкие программируемые ускорители, поддерживая исследования в academia таких новых механизмов внимания, как FlashAttention и Hierarchical Attention.
• От компании, выраставшей на играх, к эпицентру науки о передовых технологиях: В серии RTX 50 из примерно 8 миллионов пикселей в кадре 4K традиционный конвейер трассировки лучей рассчитывает лишь 50 тысяч. Оставшиеся 7,5 миллиона пикселей точно восстанавливаются ИИ по прогнозам. Такая парадигма позволяет ученым и инженерам сосредоточиться на ключевых узлах, передавая рутину ИИ для кратного роста продуктивности. От цифровой биологии и анализа белковых языков до микроклимата и будущих роботов конечная историческая мечта NVIDIA — «оказать исключительное влияние».

Ключевые мысли

• О технологических убеждениях и стратегическом планировании: «В определенный момент ты должен поверить во что-то. Если ты начнешь это строить, люди, возможно, не придут; но если ты не начнешь, они никогда не смогут прийти. Наша стратегия базируется на надежде, но это осознанное, рациональное ожидание.»
• О разделении труда между последовательными и параллельными вычислениями: «Возможно, только 10% кода программы выполняет 99% вычислений, которые можно разделить на параллельные задачи; но оставшиеся 90% кода все равно должны выполняться строго последовательно. Истинно идеальный компьютер — это не выбор „или/или", а одновременное наличие выдающихся возможностей и последовательной, и параллельной обработки.»
• О первоисточнике создания CUDA: «Многие великие инновации рождаются в схожем „коктейле": одна часть来自于远大志向, другая — от отчаянного желания выжить. С одной стороны, мы видели, как Researchers в Бостонском общем госпитале использовали наши игровые видеокарты для восстановления томографических снимков CT. С другой — нам самим было крайне сложно симулировать потоки воды, взрывы и столкновения частиц внутри наших игр. Именно это взаимодействие внешних вдохновений и внутренних потребностей привело к появлению CUDA.»
• О дебатах о специализации вычислительных архитектур: «Будет ли Transformer последней архитектурой AI-алгоритмов, открытой человечеством? Абсолютно нет. Вся история информатики показывает, что ни один алгоритм не правила вечно. Если бы мы десять лет назад полностью „зашили" тот алгоритм в кремний, компьютер стал бы микроволновкой, и никакие будущие инновации были бы невозможны.»
• О сути взаимодействия ИИ и человеческого труда: «Из примерно 8 миллионов пикселей на экране 4K мы фактически проводим трассировку лучей лишь для 500 тысяч. Остальные 7,5 миллиона ИИ предсказывает и идеально дополняет. Это живая метафора того, как ИИ сделает человека подобным супергерою: люди могут направить драгоценные силы и внимание на самые关键的核心部分, а всю громоздкую работу передать ИИ, добившись кратного скачка производительности.»
• О руководстве для молодого поколения: «Если бы я сегодня был студентом, моей первой задачей стало бы изучение ИИ. Навык общения с ИИ похож на умение очень грамотно задавать вопросы. Нельзя просто писать первые попавшиеся запросы: чтобы ИИ стал твоим ассистентом, нужно освоить искусство промптинга (постановки подсказок). Независимо от того, изучаешь ли ты право, медицину, химию или биологию, тебе постоянно следует спрашивать себя: как мне использовать ИИ, чтобы работать лучше?»
• О жизненном финале и историческом наследии: «Совершенно просто: „они оказали исключительное влияние". Я хочу, чтобы следующее поколение знало не только о том, что NVIDIA была компанией, на которой они выросли на играх, но и видело компанию, стоящую в эпицентре штормов цифровых наук о жизни, материаловедения, робототехники и автономного транспорта, твердо следующую своим основным принципам.»

Основной текст

Рождение гетерогенных вычислений: почему 10% кода требуют отдельного GPU?

Клео Эбрам: В нашем сегодняшнем разговоре я хочу избегать типичных квартальных финансовых отчетов и биржевых показателей, которые часто мелькают в экономических новостях, и сосредоточиться на более фундаментальных вопросах: что же мы на самом деле строим? Как вычислительные системы шаг за шагом пришли к современному виду за последние десятилетия? И как будущие технологии будут формировать жизнь каждого обычного человека.

Йенсен Хуанн: Отлично, я очень рад такому формату обсуждения. Действительно, в какой-то момент необходимо сделать выбор и поверить в определенную идею. То, чем мы занимаемся сейчас, по сути, представляет собой фундаментальную перестройку современной вычислительной архитектуры, которая формировалась десятилетиями.

Клео Эбрам: Чтобы понять текущую эпоху ИИ, привлекающую внимание всего мира, нам нужно вернуться в 1990-е годы. Разработчики игр хотели создавать более реалистичные и иммерсивные 3D-сцены, но традиционное оборудование того времени было абсолютно не готово к расчетам огромных массивов пикселей в реальном времени. Почему стандартные компьютеры того времени не справлялись с графикой? И как появился GPU?

Йенсен Хуанн: Это проистекает из одной фундаментальной особенности внутренней структуры программного обеспечения: в стандартном коде обычно лишь 10% критически важных инструкций генерируют 99% всей вычислительной нагрузки. Эти 99% интенсивных операций отличаются высокой повторяемостью, и их прекрасно можно разделить на тысячи мелких задач для параллельного исполнения; тогда как оставшиеся 90% кода в основном отвечают за системный контроль, условные переходы и логику распределения ресурсов, которые должны выполняться строго последовательно, шаг за шагом.

Традиционные компьютеры того времени полностью контролировались центральными процессорами (CPU). Процессоры были спроектированы так, чтобы великолепно справляться с высокоскоростной последовательной логикой, однако они оказывались совершенно бесполезными перед массовым параллельным запросом на одновременный рендеринг огромного числа пикселей. Мы тогда четко поняли: по-настоящему идеальный компьютер не может обладать только последовательной обработкой или только параллельной. Он обязан объединять оба подхода.

Так мы основали NVIDIA, поставив цель создать специализированные ускорители, способные решать задачи, недоступные традиционным компьютерам. Вот откуда родилась графическая карта (GPU).

Клео Эбрам: Мне вспоминается один очень классический научно-популярный ролик, который NVIDIA выпустила лет десять назад: команда «Разрушители легенд» (MythBusters) создала робота, который раскрашивала стену шариками, выпуская их по одному через единственное сопло, демонстрируя работу CPU. Затем они показали огромный механический массив с тысячами сопел, стреляющих шариками одновременно в течение доли секунды, мгновенно формируя портрет Джоконды. Это было настолько наглядно, чтобы продемонстрировать параллельную ускорительную силу GPU.

Йенсен Хуанн: Та демонстрация предельно наглядно показала их принципиальную разницу. Видеоигры стали первой областью, которая испытала крайнюю потребность в столь масштабных параллельных вычислениях.

Прорыв через игры: использование массового потребительского рынка для финансирования фундаментальных исследований

Клео Эбрам: Почему тогда NVIDIA решила сначала войти в сектор электронных игр, а не сразу заняться научными вычислениями?

Йенсен Хуанн: Во-первых, потому что мы искренне любим эту сферу. Для рендеринга 3D-виртуальных миров в реальном времени парадигмы требуют параллельных вычислений. Но что важнее, рынок электронных игр обладает колоссальным потребительским масштабом, постоянно самофинансируя разработку базового ПО и оборудования на десятки миллиардов долларов, без необходимости зависеть от правительственных грантов или научных субсидий.

Электронные игры предоставляют невероятно огромный рынок сбыта. Миллионы игроков готовы платить за более плавный и красивый рендеринг, что позволило нам стать крупнейшим в мире производителем параллельных процессоров по объемам поставок. Масштаб продаж обеспечил нам непрерывный поток средств на НИОКР, позволив развивать эту параллельную архитектуру десятилетиями, постепенно продвигая ее к крайним физическим пределам.

Ставка на CUDA: от инсайтов в медицинской визуализации до платформы для универсальных параллельных вычислений

Клео Эбрам: В начале двухтысячных некоторые тонкие ученые и разработчики начали замечать, что GPU можно использовать не только для рендеринга игровых текстур, но и для физических симуляций столкновений, а внешние ученые даже применяли их для сложнейших научных расчетов. По моим ощущениям, тогда это давалось с огромным трудом: ученым приходилось маскировать матричные операции под треугольные пиксели или текстуры, чтобы обмануть видеокарту и заставить ее считать. После этого вы приняли очень смелое решение — представили платформу CUDA. Можете рассказать контекст того времени?

Йенсен Хуанн: Вы отлично подготовились, это абсолютно точно. Многие великие инновации рождаются в схожей «смеси»: часть приходится на высокие цели и озарения, а часть — отчаянное желание спастись в тупиковой ситуации.

Одним из первых примеров использования нашего GPU для общего ускорения, пришедшим извне, стала работа исследователей из Массачусетского общей больницы в Бостоне (Mass General). Несколько ученых использовали наши игровые видеокарты для восстановления томографических срезов CT, что дало нам мощнейший импульс.

Одновременно в самой NVIDIA возникла внутренняя проблема: мы хотели, чтобы вода в игре текла естественно, а десятки тысяч осколков от взрывов подчинялись аэродинамике, и дым распространялся реалистично. Это требовало от видеокарты, помимо рендеринга графики, параллельно проводить симуляции физики частиц и гидродинамики. Если бы аппаратные конвейеры карточки остались жестко зашитыми в классический конвейер компьютерной графики, все это было бы невозможно.

Поэтому мы решили окончательно разорвать ограничения специального графического конвейера, переделав его в универсальную архитектуру параллельных вычислений, и создали Unified Computing Architecture (CUDA). CUDA позволила инженерам и ученым по всему миру писать код на привычном языке C и свободно задействовать тысячи вычислительных ядер внутри GPU.

Клео Эбрам: Глядя с сегодняшних позиций, создание CUDA было невероятно дальновидной ставкой. Тогда NVIDIA рискнула всем, внедрив логику общих вычислений во все поставляемые игровые видеокарты. Это увеличило площадь кристаллов, повысило стоимость и снизило маржинальность продукта, а на протяжении более десяти лет подвергло нас жестокой критике и сомнениям со стороны Уолл-стрит.

Йенсен Хуанн: Когда ты создаешь абсолютно новую, подрывную технологию, критики всегда говорят: «Если ты это создашь, люди, возможно, не придут». Но с точки зрения оптимиста наша уверенность звучит так: «Но если ты этого не создашь, люди никогда не получат такой возможности».

Мы прекрасно осознавали колоссальный физический потенциал этой технологии и твердо верили, что благодаря огромному рынку потребительских видеокарт GeForce сможем развернуть эту передовую параллельную архитектуру на рабочих столах каждого геймера и исследователя по всему миру. Именно эта твердая надежда, обоснованная рациональностью, помогла нам пережить долгий и одинокий период.

Момент озарения с AlexNet в 2012 году: перестройка современной вычислительной системы, формировавшейся 65 лет

Клео Эбрам: Затем наступил 2012 год, ознаменовавший собой одно из самых судьбоносных событий в истории технологий — соревнование по распознаванию изображений ImageNet. Алекс Крижевский, Илья Сутскер и их наставник Джеффри Хинтон представили глубокую нейронную сеть под названием AlexNet, которая буквально сокрушила все традиционные алгоритмы компьютерного зрения и значительно снизили уровень ошибок. Именно на двух потребительских видеокартах GeForce GTX 580 они=train этот эпохальный модель. Какая была ваша первая реакция, когда внутри NVIDIA увидели эти результаты?

Йенсен Хуанн: Это был момент, навсегда изменивший ход мировой истории. Команда компьютерного зрения внутри NVIDIA в то время отчаянно пыталась решить задачу распознавания изображений с помощью старых алгоритмических библиотек, сталкиваясь с серьезными препятствиями и неудачами. Когда вышел AlexNet, мы испытали не только потрясение, но и мощное узнавание: этот совершенно новый алгоритм полностью отверг старую практику ручного программирования правил, целиком положившись на самостоятельное обучение весов на гигантских объемах данных, и совершил беспрецедентный скачок в своих возможностях.

Мы сделали шаг назад и задали себе фундаментальный вопрос: «Если эта архитектура глубокого обучения демонстрирует такую ужасающую потенциальную масштабируемость в компьютерном зрении, каковы же ее реальные пределы? Что это вообще значит для всей индустрии компьютеров и архитектуры низкоуровневого ПО и железа?»

Тогда мы приняли crucial решение: парадигма разработки программного обеспечения переживала существенный сдвиг. С момента установления архитектуры набора инструкций для современных универсальных компьютеров IBM System/360 в 1964 году, ровно 65 лет человечество передавало компьютерам приказы путем пошагового точного программирования; но восхождение глубокого обучения обозначило смену вектора: компьютеры начали самостоятельно выявлять закономерности из огромных массивов данных.

Поскольку суть ПО изменилась, аппаратная база и весь системный стек, его поддерживающие, надлежало перестраивать с нуля. Мы немедленно приняли решение поставить все на ИИ и с нуля спроектировали весь вычислительный стек: от архитектуры отдельных чипов и шин интерконнекта до сетевого обмена, библиотек алгоритмов и распределенных систем. Позднейшая суперкомпьютерная система DGX стала прямым плодом этого озарения.

Почему именно сейчас: универсальный переводчик, преодолевающий границы всех модальностей данных

Клео Эбрам: Почему только в последние несколько лет общество вдруг ощутило взрывной рост ИИ? Каков фундаментальный технологический скачок, стоящий за этим?

Йенсен Хуанн: Потому что за последнее десятилетие одно за другим были решены самые сложные проблемы computer science. Сначала было полностью преодолено компьютерное зрение, затем распознавание речи достигло уровня, превосходящего человеческий, после чего произошло качественное прорывное продвижение в понимании естественного языка.

Однако настоящий решающий удар, вызвавший тотальное качественные изменения, пришел благодаря архитектуре Transformer и созреванию генеративного ИИ. Предыдущие модели ИИ были преимущественно классификаторами для конкретных задач, например, определяя, есть ли на фото кошка. Современный генеративный ИИ — это универсальная «система кросс-модальной трансляции».

Он способен понимать текст и транслировать его в другой текст, сводить абзацы или переводить между языками разных стран; он может конвертировать текст в изображение, изображение в 3D-модели, данные датчиков в углы поворотов манипуляторов робота. Он свободно перемещается между различными способами представления цифрового и физического миров — вот почему современный ИИ кажется нам всемогущим.

Физический ИИ и Модели Мира: Cosmos дарует здравый смысл, Omniverse закрепляет законы физики

Клео Эбрам: Далее я хотела бы подробнее обсудить один из важнейших процессов, происходящих прямо сейчас: переход от текста и изображений цифрового мира к воплощенному интеллекту и робототехнике физического мира. Раньше для тренировки роботов нам приходилось ставить машины в реальные цеха для пошагового движения, или собирать ограниченнейшие объемы данных с людей в костюмах для захвата движений. Оборудование быстро изнашивалось, падало и ломалось, сбор информации был дорогим и медленным. Теперь же мы начинаем тренировать роботов в виртуальных мирах. NVIDIA представила Cosmos и Omniverse. Как вы решаете задачу обучения роботов в виртуальной среде?

Йенсен Хуанн: Лучшая точка отсчета для понимания физического ИИ — это путь развития языковых моделей, подобных ChatGPT.

Когда ChatGPT только появился, несмотря на поразительные результаты, у него был фатальный недостаток: галлюцинации. Когда модель начинает бесконечно рассуждать или затрагивает темы из зоны отсутствия обучения, она уверенно генерирует бред, так как ее выходные данные не привязаны к фактической истине (Ground Truth). Позже отрасль внедрила метод Retrieval Augmented Generation (RAG): когда вы скармливаете модели авторитетный PDF или подключаете сетевой поиск в реальном времени, этот документ и найденные результаты становятся базовым фактическим ориентиром, обеспечивая надежную базу для вывода модели.

Теперь мы применяем ту же самую логику к физическому миру. Чтобы робот мог свободно действовать в реальности, ему прежде всего нужна базовая модель, наделенная физическим здравым смыслом. Что такое физический здравый смысл? Робот должен знать о земной гравитации, инерции и трении объектов; обладать геометрическим и пространственным восприятием; понимать перманентность объектов — если я отвернусь и вернусь, кружка на столе останется там же; осознавать причинно-следственные связи — если я опрокину кружку, вода разлиется.

Чтобы наделить ИИ подобным здравым смыслом, мы построили Cosmos — базовую языковую модель физического мира, специально кодирующую универсальные физические законы.

Но одного Cosmos недостаточно, нам нужен «абсолютный эталон физической реальности», аналогично авторитетному PDF для ChatGPT. Этот эталон — Omniverse. Omniverse — это не обычный игровой движок, а строгая система физического моделирования, базирующаяся на принципах первопричины, где в основе лежат математические求解器 ньютоновской механики, гидродинамики и электродинамики.

Связав модель мира Cosmos с физическим движком Omniverse, мы можем бесконечно генерировать в цифровом пространстве виртуальные среды и непредвиденные условия, строго соответствующие законам физики: внезапное изменение освещения, скользкое покрытие, блокировка пути, сбои оборудования. За считанные часы робот проходит экстремальные тренировки, которые в реальной жизни заняли бы десятилетия, после чего полученная модель переносится на настоящие аппараты.

Визионерство на десятилетие вперед: все объекты обретут форму роботов, у каждого будет личный R2-D2

Клео Эбрам: Если продолжить эту логику, каким станет физический мир через десять лет? Как обычные люди будут взаимодействовать с такими физическими ИИ?

Йенсен Хуанн: Любой подвижный объект будущего наделит роботизированными функциями, и этот день наступит быстрее, чем думает большинство.

Завтра людям покажется абсурдом необходимость лично толкать газонокосилку по двору под палящим солнцем. Каждый автомобиль будущего станет полностью автономным роботом; гуманоидные машины проникнут на фабрики и в дома. Все эти роботы пройдут свое «обучение» в цифровом двойничном мире, построенном на базе Omniverse и Cosmos, прежде чем выйти в реальную среду.

Еще больше меня восхищает мысль, что у каждого появится собственный пожизненный цифровой компаньон, похожий на R2-D2 из «Звездных войн». Он未必 будет круглым металлическим бочонком: он может жить в ваших смарт-очках, смартфоне, рабочем ПК или сидеть в вашем автомобиле. Вернувшись домой, вы встретите его в форме какого-либо материализованного робота.

Этот персональный R2-D2 будет сопровождать вас всю жизнь, эволюционируя вместе с вашим опытом, глубоко понимая ваши эмоции, привычки и рабочий ритм, становясь самым мощным расширением вашего восприятия и трансформации окружающего мира.

Диспут об архитектуре: почему нельзя жестко фиксировать Transformer в чипах?

Клео Эбрам: При подготовке этого интервью я много общалась с инженерами, которые настойчиво попросили меня задать вам один вопрос: поскольку архитектура Transformer лежит в основе большинства современных больших моделей, многие чипмейкеры пытаются создавать полностью кастомные специализированные чипы (ASIC). Специфика确实 дает максимальную эффективность в конкретных задачах, но жертвует универсальной гибкостью. Как NVIDIA балансирует между оптимизацией под специфичные задачи и поддержанием общей архитектуры? Как вы принимаете подобные рискованные технологические ставки стоимостью в миллиарды долларов?

Йенсен Хуанн: Это напрямую затрагивает наше самое базовое убеждение: верите ли вы, что Transformer станет последней архитектурой алгоритмов ИИ, которую откроют исследователи?

Если ваш ответ «да», то вы можете спокойно зашить все математические операции Transformer в физические схемы кремниевой подложки. Но наша ключевая позиция заключается в том, что Transformer — это вовсе не финал, а лишь ступень на лестнице к ИИ следующего уровня. Архитектуры будущего, появившиеся через несколько лет, могут совершенно не напоминать Transformer.

Проследив историю алгоритмов и инноваций в компьютерах, можно ли найти какую-либо блестящую идею, которая правила бы вечно? Ответ очевиден — никогда. Главная привлекательность компьютера кроется в его способности запускать удивительные программы, о которых десять лет назад никто и думать не мог. Если бы десять лет назад мы полностью ограничили чипы узкой функцией, компьютеры превратились бы в микроволновые печи, и вся экосистема приложений замерла бы.

Возьмите механизм внимания (Attention Mechanism) — сердце Transformer. Изначально он задумывался для расчета корреляции каждого слова со всеми остальными в контексте. При коротком тексте в 10 слов проблем нет, но если окно контекста расширяется до десятков тысяч слов или миллионов токенов, накладные расходы на полные перекрестные вычисления экспоненциально растут, что физически нереализуемо на оборудовании. Для решения этой проблемы за последние годы появились новейшие математические алгоритмы: FlashAttention, иерархическое внимание (Hierarchical Attention), wavelet attention и другие.

Computer science не знает конца, исследователи ИИ не сдаются, и NVIDIA не намерена прекращать деятельность. Наша важнейшая миссия — создавать вычислительные ускорители высочайшей степени программируемой гибкости, чтобы самые гениальные ученые-алгоритмисты мира могли свободно исследовать океан вычислительных мощностей, открывая великие алгоритмы нового поколения.

Пределы производства чипов и физические вызовы: от упаковки кристаллов до экстремальной энергоэффективности

Клео Эбрам: Современные флагманские чипы вплотную приближаются к фундаментальным пределам физики. Вы проектируете чипы, а TSMC и другие партнеры светят и производят их на нанометровом уровне. Столкнувшись с замедлением закона Мура и ограничениями энергопотребления, как NVIDIA подходит к проектированию?

Йенсен Хуанн: Традиционный закон Мура и шкалирование деннарда (Dennard Scaling) физически почти исчерпали себя. Время, когда можно было бесплатно получать удвоение вычислений и снижение энергии исключительно за счет уменьшения транзисторов, прошло безвозвратно.

Именно поэтому мы обязаны полностью перейти от «мышления отдельного чипа» к «мышлению дата-центра». Оптический предел размера одной пластины (Reticle Limit) фиксирован. Чтобы преодолеть физические ограничения отдельного кристалла, мы используем интеграционную упаковку Dual-Wafer (CoWoS), каналы межчипового соединения сверхвысокой пропускной способности (NVLink) и предельно плотную чиповую высокопропускную память (HBM).

Что еще важнее, параллельные ускоряющие вычисления подчиняются совершенно иным законам физики. Поручение сложной задачи тысячам высокопроизводительных ядер параллельной обработки повышает энергетическую эффективность в десятки и даже сотни раз по сравнению с тем, чтобы отдельные высокопроизводительные CPU пытались справиться с этим вручную. Синергетически оптимизируя алгоритмы, чипы, сети и систему в целом, мы прокладываем новый путь для экспоненциального роста вычислительной мощности в пост-муеровскую эру.

Следующая грандиозная ставка: физический ИИ, цифровая биология и моделирование микроклимата

Клео Эбрам: Если оглянуться назад, каждая крупная ставка NVIDIA в GPU, CUDA, глубокое обучение и автопилоты оказалась верной. Какие крупные инвестиции вы делаете дальше, помимо уже упомянутых роботов?

Йенсен Хуанн: Помимо физического ИИ и аппаратно-программных стеков для гуманоидов, область, которая меняет мой пульс — это цифровая биология (Digital Biology).

Старые компьютеры понимали ручной код, состоящий из нулей и единиц. Сейчас ИИ понял естественный язык человека. Суть биологии — сложнейший язык взаимодействия молекул, аминокислот, белков и живых клеток. Подобно тому, как физические модели объясняют наш мир, если мы сможем глубоко анализировать и предсказывать язык взаимодействия биомакромолекул с помощью ИИ, мы построим цифровой двойник человеческого тела. Это означает, что открытие лекарств, генная терапия и исследование болезней перейдут от традиционных лабораторных проб к высокоточной науке, быстро симулируемой и итерируемой на компьютере.

Еще одна область, вызывающая у меня чувство гордости — климатология. Используя технологии цифровых двойников, мы разрабатываем системы регионального климатического и экстремального погодного прогнозирования сверхвысокого разрешения, способные точно моделировать развитие микрометеорологии в пределах километра над вашей головой.

Инструменты науки по сути являются «машинами времени», придуманными человечеством. Ученые изо всех сил стремятся предвидеть будущее, чтобы заранее увидеть траекторию его изменений, принять оптимальное проектирование и вмешательство здесь и сейчас, и создать наилучшую версию будущего.

Нейронный рендеринг и личные суперкомпьютеры: скачок производительности с RTX 50 и DGX

Клео Эбрам: На недавно прошедшей выставке CES вы показали новейшие видеокарты серии GeForce RTX 50 и настольную систему DGX нового поколения. Что на самом деле означают эти новые железо для обычных создателей контента и разработчиков?

Йенсен Хуанн: Здесь заложена поразительно увлекательная обратная связь: изначально игровые видеокарты GeForce породили современный ИИ, помог Алексy Крижевскому и Джеффри Хинтону выпустить AlexNet. А сегодня мощный и отлаженный ИИ возвращается обратно в карты GeForce, полностью переворачивая нижележащую логику графического рендеринга.

В кадрах серии RTX 50 разрешением 4K (всего около 8 миллионов пикселей) наш физический конвейер трассировки лучей действительно проводит плотные расчеты лишь для 500 тысяч пикселей. Остальные 7,5 миллиона пикселей ИИ предсказывает и идеально дополняет в реальном времени на основе этих 500 тысяч высококачественных базовых точек.

Это абсолютная метафора того, как ИИ усиливает человеческую продуктивность: человеческие усилия, концентрация и физические ресурсы крайне ценны и ограничены. Если пытаться вручную проконтролировать каждый этап, результат неизбежно будет минимален. Но используя способности ИИ к обобщению и выводу, люди могут направить все силы на самую главную и ценную часть — те «500 тысяч пикселей», а ИИ поможет компенсировать остальное, раскрывая сверхчеловеческий творческий потенциал.

Кроме того, в 2016 году мы лично передали OpenAI первый в мире суперкомпьютер DGX, который принял лично Илон Маск. В то время такие машины были огромными, стоили 250 тысяч долларов и принадлежали единицам элитных лабораторий. Сегодня мы сжали их до персональных AI-суперстанций стоимостью около 3 тысяч долларов, которые помещаются на столе у студента или инженера. Это означает, что любой учащийся или независимый разработчик получил собственную Супервычислительную лабораторию, где в общежитии может тренировать свои собственные модели ИИ и роботов R2-D2.

Наследие для молодежи и советы на жизнь: искусство промптинга и значительное влияние эпохи

Клео Эбрам: Какие крайне важные рекомендации, которые я еще не спросила, вы хотели бы дать студентам, молодежной аудитории и всем, кто стремится оставить след в эту эпоху?

Йенсен Хуанн: Одно из главных рекомендаций, которые я могу дать: если бы я сегодня был студентом, моей первой задачей было бы максимально усердно изучать ИИ.

Как научиться взаимодействовать с ChatGPT? Как наладить контакт с Gemini Pro? Как общаться с Grok? Навык взаимодействия с ИИ по сути равен искусству задавать превосходные вопросы. Например, вы в этом мастерски владеете. Написание промптов (prompting) для ИИ очень похоже на это. Нельзя просто сбрасывать случайные запросы. Чтобы ИИ стал вашим надежным помощником, нужно овладеть техникой и искусством промптинга.

Поэтому, будь я сегодня студентом, независимо от того, изучаю ли я математику, физику, химию или биологию, и какой бы профессией я ни занимался впоследствии, я бы сам себе постоянно задавал вопрос: как мне использовать ИИ, чтобы работать эффективнее?

Хочу стать юристом — как с помощью ИИ стать лучшим адвокатом? Хочу быть врачом — как ИИ сделает меня совершеннее? Стремясь стать химиком или биологом, как ИИ улучшит мои навыки? Этот вопрос должен пронизывать мышление каждого человека.

Так же, как в эпоху моего детства, мы были первым поколением, которое столкнулось с вопросом: как использовать компьютеры для улучшения результатов работы. Наши бабушки и дедушки практически не имели компьютеров; помните, я начал свой путь в 1984 году, еще до появления Windows 95, когда в офисе не было ни одного компьютера. Спустя короткое время машины повсеместно распространились, и нам пришлось искать способы повысить продуктивность. Следующее поколение избавлено от этой задачи, но теперь перед ним стоит четкая дилемма: как применить ИИ для качественного улучшения рабочего процесса? Вот исходная и конечная точка всей истории.

ИИ радикально снизил барьеры понимания, знаний и доступности интеллекта. Если раньше поставить обычный ПК перед человеком, впервые державшим в руках компьютер, он ни за один день не освоил бы управление — требовалось индивидуальное обучение. А при встрече с ChatGPT, если вы не знаете, как действовать, достаточно написать: «Я не понимаю, как пользоваться ChatGPT, научите меня», и система тут же даст ответы с примерами. Прекраснейшая черта интеллекта в том, что он ведет вас за руку, усиливая вашу мощь по ходу дела.

Клео Эбрам: Отлично. Если у вас найдется чуть больше времени, у меня остался последний вопрос. Его я не планировала задавать изначально, но по дороге сюда меня немного настигла аэрофобия, что явно нелогично. Рейс оказался довольно турбулентным. Сидя в раскачивающемся салоне самолета, я невольно задумалась: что люди скажут на моих поминках?

Йенсен Хуанн: «Она всегда задавала отличные вопросы!» На вашей табличке обязательно напишут именно так.

Клео Эбрам: Надеюсь, так и будет! Да. Помимо «безмерно любящей мужа, друзей и семью», я надеюсь, что люди вспомнят мою «оптимистичность», и поймут цели, к которым я стремилась. Меня очень интересует, как вы относитесь к своей деятельности. Вы столько лет в этой отрасли, ваши визионерские планы так грандиозны. Какую лейтмотив вы бы хотели, чтобы общество использовало для оценки тех достижений, к которым вы стремились?

Йенсен Хуанн: Совершенно просто: «Они оказали исключительное влияние (They made an extraordinary impact).»

Нам везет, ведь мы давно закрепили ряд фундаментальных убеждений и неизменно придерживаемся их, постепенно наращивая достижения, что сегодня сделало нас одной из самых влиятельных и важных технологических компаний в мире, а возможно, и во всей истории.

Поэтому мы воспринимаем нашу ответственность предельно seriously. Мы стараемся гарантировать, что наши достижения будут доступны не только крупным корпорациям, но и независимым исследователям и разработчикам из различных научных сфер, независимо от их коммерческого статуса, размера команды или известности. Именно из-за глубокого понимания того, насколько весимо наше дело и сколько жизней оно может изменить, мы хотим распространять эти возможности максимально широко.

Я твердо верю: глядя спустя пару лет назад, я очень хочу, чтобы новое поколение увидело: во-первых, они узнают нас благодаря технологиям игр, которые мы создали; но также они признают, что цифровая биология и наук о жизни были радикально перестроены, наше понимание материаловедения было полностью перевернуто, а робототехника во всех секторах помогает людям выполнять опасную и скучную работу. Хотите ехать сами — садитесь за руль, хотите отдохнуть — машину управляет ИИ. Можно превратить автомобиль в домашний кинотеатр и спокойно читать книгу по пути на работу. Возможно, вы даже начнете сожалеть, что живете слишком близко, и мечтаете, чтобы дорога на работу была длиннее, чтобы дольше наслаждаться поездкой.

И когда вы оглянетесь назад, обнаружите компанию, стоящую в центре шторма этих глобальных перемен, которая сопровождала ваше детство за компьютерными играми. Надеюсь, именно таким и будет восприятие NVIDIA новым поколением.

Клео Эбрам: Огромное спасибо за уделенное время, это было чудесное общение.

Йенсен Хуанн: Спасибо вам, мне тоже было приятно.