Neurophos привлекла 110 млн долларов на финансирование оптических чипов: заявленная вычислительная мощность при одинаковом энергопотреблении в 25 раз превышает возможности GPU

Автор: Sabbir Rangwala

Перевод: TechFlow

Краткий обзор от TechFlow: Стартап из Остина Neurophos использует кремниевую фотонику и метаматериалы для создания оптических вычислительных блоков (OCU). Компания недавно привлекла 110 млн долларов США в раунде Series A под руководством Gates Frontier при участии венчурного фонда Microsoft M12 и других инвесторов. В статье утверждается, что её оптическое ядро не требует внутренних переключателей, а производительность может достигать примерно в 25 раз больше аналогичных GPU с теми же размерами и энергопотреблением. Ожидается внедрение OCU к 2028 году и формирование рынка объемом около 2,7 млрд долларов США к 2034 году — ставка делается на матричные вычисления на этапе prefill AI-инференса и проблему энергопотребления дата-центров.

Резюме

Оптические вычисления зародились в 1960 году и за прошедшие десятилетия существенно созрели, выполняя операции непосредственно в оптической области. Штаб-квартира Neurophos, базирующаяся в Остине (Техас), создает оптические вычислительные блоки (OCU) на базе схем кремниевой фотоники и метаматериалов. Недавно компания закрыла раунд финансирования Series A на сумму 110 млн долларов США для продвижения своего оптического ИИ-чипа. Оптическое ядро Neurophos выполняет вычисления мгновенно на скорости света без необходимости во внутренних переключателях. Следовательно, при тех же габаритах чипа и уровне энергопотребления эта технология обеспечивает значительно большее количество операций в секунду по сравнению со стандартными GPU. Потенциальный рынок крайне велик — по мере того как OCU постепенно заменяют GPU в сегменте вычислительных мощностей дата-центров. Объем этого рынка сейчас оценивается примерно в 1 трлн долларов США ежегодно.

Вычисления обычно выполняются на электронных схемах — путем передачи цифровых битов через транзисторы, переключатели и запоминающие устройства. Эта методология высокоэффективна и неизменно следует закону Мура в плане масштабируемости, размеров, энергопотребления и скорости.

Проблема заключается в том, что дата-центры обрабатывают огромные объемы оптических данных. Традиционно эти данные сначала необходимо преобразовать в электрическую область (превратить фотоны в биты), чтобы перенаправить их по различным каналам и выполнить вычисления для онлайн-поиска, а также обучения и работы ИИ-потоков данных. Преобразование «оптика-электричество-оптика» (ОЭО) сопряжено с колоссальными потерями и существенно увеличивает энергопотребление и расход воды дата-центров, что обходится очень дорого с финансовой, политической и репутационной точек зрения. Оптическая коммутация цепей (OCS), использующая кремниевую фотонику и метаматериалы для переключения световых пучков, уже добилась значительных успехов в снижении зависимости от дорогостоящего ОЭО-преобразования. Однако сами вычисления по-прежнему требуют поддержки. Этим как раз занимается Neurophos: компания использует технологии схем кремниевой фотоники и метаматериалов для выполнения вычислений непосредственно в оптической среде.

Само понятие оптических вычислений не является новым.

Его истоки лежат в 1960 году: исследователи обнаружили, что линзы и оптические фильтры могут выполнять преобразования Фурье — математическую операцию по разложению сигнала или волны на составляющие частоты.

1970-е годы: дальнейшее развитие пространственных световых модуляторов (SLM) позволило программируемым способом создавать оптические паттерны, изменять фокусировку и даже направлять лазерные лучи по заданным траекториям.

1980–2000 гг.: следующие два десятилетия были отмечены массовыми академическими исследованиями и инновациями, но так и не вышли на коммерческий рынок — главным образом из-за стремительного прогресса электронной вычислительной техники, пока оптика оставалась ограниченной лабораторными условиями. Позже технология SLM стала применяться для векторно-матричного умножения (VMM), что стало ключевым прорывом.

2000–2025 гг.: эти 25 лет ознаменовали взросление оптических технологий — оптоэлектроники, кремниевой фотоники, метаматериалов, волоконной оптики и свободноканальной оптики, применяемых в сенсорике, связи, обработке материалов и вычислениях. Параллельно выросли центры обработки данных сверхмасштабного уровня (hyperscale), потребляющие колоссальные объемы оптических решений и породившие игроков мирового класса стоимостью в миллиарды долларов, таких как Lumentum, Coherent, Corning и IPG Photonics. Сегодня дата-центры нуждаются в оптике не только для передачи и коммутации данных, но и для выполнения над ними операций — например, вычислений. Мощность гиперагрегирующих ЦОД варьируется от 100 МВт до 1 ГВт, причем около 50% расходуется именно на вычисления. Оптические вычисления способны радикально снизить энергопотребление (и соответствующие потребности в охлаждении).

Neurophos находится в авангарде внедрения оптических вычислений. Компания, расположенная в Остине (Техас), недавно завершила дополнительный раунд финансирования на 110 млн долларов США для ускорения развития технологии. Раунд возглавила Gates Frontier, его поддержали венчурный фонд Microsoft M12, Carbon Direct Capital, Aramco Ventures, Bosch Ventures, Tectonic Ventures, Space Capital и другие. Это позволит компании расширить штат примерно в 4 раза к 2026 году. Доктор Патрик Боуэн, генеральный директор и сооснователь Neurophos, заявил: «Закон Мура замедляется, но ИИ не может ждать. Наш прорыв в фотонике открывает совершенно новую парадигму масштабирования, вплетая гигантскую оптическую параллельность в один чип. Этот физический скачок означает, что при увеличении мощности одновременно растут эффективность и базовая скорость, позволяя преодолеть ограничения энергопотребления, свойственные традиционным GPU. Оптические вычисления меняют правила игры: они определяют, сколько возможностей ИИ мы можем предоставить при фиксированных затратах энергии, площади и бюджета».

Стоит кратко выделить несколько ключевых моментов. Вычисления на этапе инференса ИИ делятся на два типа: «prefill» и «decode». Prefill — это первая стадия инференса больших языковых моделей (LLM), когда модель параллельно считывает и анализирует весь входной промпт. Decode — это процесс формирования ответа моделью, который имеет строго последовательную природу. В процессе инференса ИИ именно prefill формирует основную нагрузку на вычислительные ресурсы. Обучение LLM и работа с массивами данных также создают высокую вычислительную нагрузку; хотя энергопотребление здесь значитительно, оно носит кратковременный характер на этапе первоначального обучения. Процесс обновления весов модели сам по себе требует значительно меньше энергии.

На рисунке 1 сравниваются классические подходы к оптическим вычислениям (электрические решения и путь на базе GPU) с их проблемами, а также показано, как архитектура OCU (оптический вычислительный блок) от Neurophos решает эти задачи.

Как уже упоминалось, снижение энергопотребления критически важно в сценариях работы дата-центров. В настоящее время вычисления происходят в электрической области, тогда как передача данных внутри стоек Scale Up и Scale Across уже переведена в оптический формат. Для выполнения вычислений на GPU необходимо сначала преобразовать сигнал из оптического в электрический, произвести вычисления, а затем снова преобразовать его в оптический для передачи. Передача электронов по металлическим проводникам вызывает потери. Кроме того, электронные устройства, такие как GPU, насыщены переключающими элементами в вычислительном ядре; ожидание стабилизации переключателей занимает драгоценное время. В оптическом ядре Neurophos вычисления выполняются мгновенно на скорости света благодаря полному отсутствию переключателей. Оно способно выполнять миллионы операций параллельно — со скоростью 56 миллиардов операций в секунду, что значительно превосходит показатели аналогичных по размеру GPU. Помимо высокой скорости, энергопотребление OCU также существенно ниже: не требуется энергия для питания переключателей, а потери при распространении сигнала минимальны. Все затраты на электроэнергию и тепловыделение в традиционных системах концентрируются на интерфейсах ввода-вывода для оптико-электрических и электрическо-оптических преобразований. В результате при одинаковых размерах чипа и уровне потребления энергии один OCU способен выполнять примерно в 25 раз больше операций в секунду по сравнению с GPU.

На сегодняшний день не существует эффективной технологии оптического хранения данных, сравнимой с электронной. Следовательно, вычислительный процесс приходится приостанавливать, фиксировать промежуточные результаты и переходить к следующему этапу, выполняя математические операции пошагово, в дискретном режиме. Именно поэтому до сих пор необходимы SRAM и DRAM. Если в будущем удастся решить задачу оптического хранения, OCU избавится от необходимости ОЭО-преобразования на входах и выходах, что обеспечит еще большую скорость, а также снижение энергопотребления, стоимости и габаритов.

Расчеты на этапе prefill включают огромное количество матричных умножений, поскольку LLM должны устанавливать взаимосвязи между промптом и обученными параметрами в многомерном пространстве. На GPU значительная часть площади кристалла выделяется исключительно под эти операции. В чипе Neurophos умножение выполняется посредством трех основных действий:

- Копирование данных реализуется через оптические сплиттеры, распределяющие сигнал по нескольким ветвям в заданном соотношении. Это пассивный компонент, встроенный в фотонные схемы: он разделяет входящий поток фотонов на множество каналов вдоль различных волноводов, используя интерференционные соединители, плавные конические переходы и дифракционные решетки с длинной волны.

- Умножение происходит в оптической области за счет комбинации интенсивности нескольких световых пучков с использованием отражающих и пропускающих структур. Реализуются такие компоненты, как интерферометры и фазовые сдвигатели.

- Сложение осуществляется оптическими мультиплексорами (комбайнерами) — компонентами, объединяющими множественные оптические сигналы в единый выходной канал. Они позволяют суммировать амплитуды, длины волн, фазы или характеристики поляризации отдельных лучей.

Основным применением оптических вычислений является матрично-матричное умножение. В оптических схемах одна матрица хранится в сетке оптических модуляторов, а другая подается в виде последовательности входных векторов, где каждое число кодируется амплитудой соответствующего светового луча. Копирование осуществляется путем разделения каждого луча примерно на тысячу пучков, которые равномерно распределяются по строке сетки модуляторов. Оптическое умножение происходит за счет отражения или прохождения света: каждый скопированный луч отражается от модулятора, при этом отраженный свет равняется падающему свету, умноженному на значение, сохраненное данным модулятором. Сложение затем фокусирует свет, отраженный от каждого столбца сетки, на одном фотодетекторе, суммируя его в один элемент результата. Поскольку модуляторы сохраняют матрицу на протяжении прохождения тысяч входных векторов, энергозатраты на загрузку матрицы распределяются на все эти векторы — именно поэтому оптические тензорные ядра проектируются специально для матрично-матричного, а не просто векторно-матричного умножения.

Все эти операции выполняются на оптических чипах (как показано на Рисунке 1), структура которых состоит из микроскопических волноводов, гравированных на подложках из кремния, нитрида кремния (SiN) или фосфида индия (InP). Волноводы направляют световые лучи внутри чипа. В структуру интегрированы источники лазеров и оптические детекторы для обеспечения ОЭО-преобразования. Модуляторы изменяют такие свойства света, как интенсивность, фаза, поляризация и длина волны, для кодирования и обработки информации. Помимо самих модуляторов, волноводы включают в себя сплиттеры, отражающие и пропускающие поверхности, а также комбайнеры.

Чип Neurophos для инференса ИИ построен на архитектуре метаповерхностей с настраиваемыми оптическими элементами. Решение направлено на преодоление ключевых ограничений инфраструктуры ИИ: производство, питание, охлаждение и развертывание достаточных вычислительных мощностей для гиперагрегирующего инференса. Microsoft выступает одним из глубоких партнеров и инвесторов. Другие коммерческие партнерства охватывают крупнейших облачных провайдеров. Компания уже провела успешную демонстрацию вычислений на первом массиве метаповерхностей и в настоящее время запускает в серию дополнительные партии устройств с улучшенными показателями надежности и производительности. В цепочку поставок входят ведущие контрактные производители полупроводников, разработчики специализированных ASIC-чипов, поставщики оптических компонентов и партнеры по корпусированию.

Ключевой вызов для оптических вычислений и матричного умножения заключается в размере стандартных модуляторов, которые часто оказываются слишком крупными — длина достигает около 2 мм. Это означает, что на кристалле заданного формата можно разместить меньшее количество модуляторов, что напрямую ограничивает скорость вычислений и энергоэффективность (операций на ватт). Массив из тысячи модуляторов с каждой стороны способен выполнить один миллион операций умножения и один миллион сложений всего за две тысячи циклов преобразования (тысяча на вход, тысяча на выход), вследствие чего затраты на один цикл преобразования распределяются примерно на тысячу вычислений. «Секрет успеха» Neurophos заключается в использовании метаматериалов для сокращения площади одного модулятора примерно в 10 000 раз по сравнению с текущим отраслевым эталоном. Это позволяет вместить миллион модуляторов на чип размером с ноготь, вместо подложки размером с покерный стол. Подобный подход делает возможным создание массивов масштаба «тысяча на тысяча» на едином кристалле, полностью оправдывая обещания высокой эффективности, заложенные концепцией оптических вычислений.

Полноценное оптическое тензорное ядро Neurophos состоит из трех основных компонентов. Во-первых, кремниевый фотонный чип генерирует входные векторы и собирает выходные. Он работает на тактовой частоте 56 ГГц, которая определяет скорость вычислений. Здесь применяются стандартные модуляторы крупных габаритов, но требуется всего около тысячи единиц вместо миллиона, поэтому приоритет отдается быстродействию, а не миниатюризации. Во-вторых, чип на основе метаповерхностей хранит матрицы весов. Поскольку матрицы остаются неизменными при обработке множества входных векторов, для этих модуляторов главными критериями становятся компактность и энергоэффективность, а не высокая скорость. Наконец, оптическая система проецирования связывает оба чипа: она копирует каждый входной луч с кремниевого фотонного чипа и распределяет его по одной строке метаповерхности, после чего сфокусированный отраженный свет с каждой колонки возвращается на единственный фотодетектор для суммирования. После интеграции памяти HBM и цифровых контроллеров для управления и хранения это оптическое тензорное ядро превращается в готовое к использованию (plug-and-play) решение, заменяющее GPU. Рассчитывая площадь светового пятна, оно работает примерно в 50 раз быстрее современных топовых GPU, а его базовая энергоэффективность превышает показатели электроники в 35 раз.

Оптика уже давно стала неотъемлемой частью архитектуры дата-центров; в ближайшие пять лет доля оптических компонентов будет продолжать расти по мере того как стойки Scale-Up всё активнее переходят на оптическую коммутацию цепей (OCS) вместо электрической пакетной коммутации (EPS). Рынок OCS, по прогнозам, увеличится примерно в 5 раз за пятилетку, достигнув 11 млрд долларов США ежегодно. Другой колоссальный рынок открывается в сфере самих вычислений: OCU демонстрируют существенные преимущества перед традиционными электронными путями (такими как GPU) в плане скорости вычислений, размеров кристалла и энергопотребления. По оценкам Yole Group, первые партии OCU будут развернуты к 2028 году, и к 2034 году объем рынка вырастет до примерно 2,7 млрд долларов США (около 1 миллиона единиц). Однако потенциал значительно шире: по мере того как OCU начнут вытеснять GPU в сегменте вычислительных мощностей дата-центров. Общий объем данного рынка сегодня оценивается примерно в 1 трлн долларов США ежегодно.