NVIDIA Omniverse：引领 AI 和元宇宙的未来

撰文： MetaPost

不久前的 CadenceLIVE Silicon Valley 2024 大会上，黄仁勋曾公开表示，AI 将为数据中心、机器人和自动驾驶、生命科学三大领域带来革命性颠覆。人型机器人降至 1 万至 2 万美元将是未来必定的趋势，因为全球科技企业都在加大该方面的投入，包括 NVIDIA 也成立了机器人实验室。

「我们需要一个模拟引擎，以数字的方式为机器人呈现世界，这样机器人就有了一个学习如何成为机器人的‘健身房’，我们称这个虚拟世界为 Omniverse。」

谁不想拥有一台价格更低的人型机器人呢？在拥有机器人之前，或许可以先拥有它的「健身房」。

无处不在的 Omniverse

与其说整个科技圈离不开 NVIDIA ，不如说 NVIDIA 的布局太前瞻。

早在元宇宙概念走进大众视野之前，NVIDIA 就已经着手于相关技术的开发及储备。在深刻洞察各个行业对于虚拟世界和数字孪生的需求后，NVIDIA 对此进行了针对性研发，推出了 Omniverse 平台。在其不断迭代自身解决方案的同时，众多大型企业纷纷通过 Omniverse 构建了自己的数字孪生或工业元宇宙。

Omniverse 不是一个工具，而是一个技术平台——可以开发、部署基于物理模拟的工业数字化应用平台。大多用户可能已经习惯了使用他们熟悉的 ISV ，或是已经适应了某一套生态系统，Omniverse 则可以集成并增强这些工具的功能，并把已有的工具、数字资产连接到全世界最大规模的设计和模拟行业的生态系统中去。

众所周知，NVIDIA 是 GPU 的发明者，也是专业视觉可视化领域的行业领袖。NVIDIA 可以利用其 GPU 做高阶像素渲染、顶点渲染，不仅支持 10K 的光线追踪，还能做基于物理规则的仿真模拟。将所有数字资产的连接、管理，以及高阶的图形性能和 AI 技术融合在一起，就是 Omniverse 平台。

自 2019 年诞生至今，五年间 Omniverse 迭代了多个版本，带来了众多全新功能，覆盖了各行各业的使用场景，包括汽车、制造、媒体、影视、建筑、能源、科学运算、仿真等。

用 NVIDIA 自己的话说：「 Omniverse is everywhere！」

为什么 AI 离不开 Omniverse ？

生成式 AI 部署的剧增正在推动各行业的数字化变革，自动驾驶汽车、人形机器人、智能仓储、大规模智慧城市等的工作流程也将被彻底改变。Omniverse 基于 AI 的仿真工作流的训练模拟，以及之后阶段的部署，也将迎来全新加速。

1、AI 训练环境的部署对于应用有哪些要求？

首先，最重要的是效率。效率决定一切，训练得慢，你的产品就比别人慢，产品只是「可用」或「一般可用」，甚至运行得比别人慢，那么还没等你的产品出来，别人的很可能早已占领了市场。而训练和部署的效率完全取决于算力，算力最终对应的是 GPU 的供给。

其次，是高保真。高保真的意义在于渲染精度、模型精度、训练精度。不同的数字资产对于精度有着不同要求。比如面对 C 端的应用或 C 端模型，做瀑布流、做推荐系统，对渲染精度的要求就没那么高。基于不同用户对精度的要求，用双进度去渲染、训练、计算模型，提供不同的解决方案。

第三，要渲染到用户的终端显示设备上去。Omniverse 提供了专业、可视化、协同工作的解决方案，最后渲染出的结果画质要好、要符合物理定律、要有光线追踪，而这些，最终还是要落到 GPU 算力上去。

2、仿真是提升安全水平的关键

一直以来，开发者们都是使用现实世界的数据进行训练、测试和验证。但如遇到罕见场景或无法在现实世界中获取的数据，该方法就存在局限性。传感器仿真则提供了有效测试无数「假设」场景和各种环境条件的完美解决方式，不仅简化了开发流程、提高了效率，还降低了开发自主机器的门槛。

仿真对于自主系统的训练、测试和部署至关重要，而要实现现实世界级的仿真度难度极高，需要对自主系统传感器和周围环境的物理特性及行为进行精确建模。

Omniverse 可以通过高保真以及符合物理规则的传感器仿真实现全栈训练和测试工作，让开发者能够更好地理解和预测自主系统在现实世界中的表现，就如同给自动驾驶汽车、机器人装上了一个超级大脑，让它们在现实世界中的表现更加出色、安全。

此外，Omniverse 在 AI 领域的应用还体现在其对数据的高效处理和分析能力上。通过集成 AI 算法，Omniverse 能够对大量的模拟数据进行深度学习，从而优化产品设计、提高生产效率、预测维护需求等。

Omniverse Cloud API：数字孪生的新篇章

2022 年，Omniverse Cloud 发布；2024 GTC 上，五款全新 Omniverse Cloud API 发布，借助 Omniverse Cloud API ，开发者们可以轻松地将 Omniverse 的核心技术直接集成到现有的数字孪生设计与自动化软件应用中，以及用于测试和验证机器人或自动驾驶汽车等自主机器的仿真工作流中。

黄仁勋说：「远程工作的设计师可以像在同一个工作室中一样协作；工厂规划人员可以在真实工厂的数字孪生中设计新的生产流程；在将自动驾驶汽车的新软件发布到车队之前，软件工程师可以基于数字孪生模型进行测试。新一波只能在虚拟世界中完成的工作即将到来。Omniverse Cloud 将连接数千万设计师和创作者，以及数十亿未来 AI 和机器人系统。」

Omniverse Cloud API 有多强大？做 3D 建模应用程序的开发人员和编程人员，可能不太懂大模型或生成式 AI，但现在，只需调用已经准备好的 API 帮助执行就好，甚至可以用大模型的方式，仅需输入一些数据，Omniverse Cloud 就可以响应。无需具备专业知识，也不再需要请专业技术人员完成某专业工作，而是利用 AI 去理解、完成需求。由此大大降低了企业的开发门槛，提升效率的同时也节约了成本。

Omniverse Cloud API 可以设计、模拟、构建和运行符合物理规则的数字孪生，不仅加速了产品开发周期，还提高了产品设计的精确性和可靠性。Ansys、Cadence、达索系统旗下 3DEXCITE、Hexagon、微软、罗克韦尔自动化、西门子和 Trimble 等全球大型工业软件制造商都已将 Omniverse Cloud API 加入其软件组合中。

当 NVIDIA Omniverse 遇上 Apple Vision Pro

此前 GTC 上的惊喜之一，便是 NVIDIA 与 Apple 两大巨头的强强联手—— Omniverse 登录 Apple Vision Pro：一个物理精确的汽车数字孪生，被全保真地传输到 Apple Vision Pro 的高分辨率显示器上，设计师可以在 MR 中，实时、沉浸地操作高保真、复杂的 3D 模型，从而更好地优化产品设计。

实现这一技术的难度其实非常大。要知道移动设备的算力是有限的，如果用移动设备本身进行运算，是无法得到理想的高保真渲染结果的，无论精度、延迟，或是符合物理定律，这些都是巨大的挑战。所以必须结合远端算力和边缘算力，以及用流媒体的方式去呈现。而 NVIDIA Omniverse 强大的空间计算能力，能够实现沉浸式体验，以及人、产品、流程与物理空间之间的无缝互动。将 Apple Vision Pro 突破性的高分辨率显示屏与 NVIDIA 的 RTX 云渲染技术相结合，只需设备和网络连接便可提供空间计算体验。

为什么高精度、低延迟、符合物理定律的全保真很重要？因为用 MR 设备查看内容时，如果头的转动跟画面同步不匹配的话，就像人坐车时，眼睛看到的和运动感知的交感神经系统不匹配，就会晕。如果 MR 设备算得不够快、延迟不够低，佩戴者就可能会头晕，甚至恶心、想吐。所以全保真不仅要保证用户看到的画面细腻、逼真、分辨率高，同时云、光影、火焰、粒子、空气、动力等一切元素都要符合自然界的真实规律进行物理模拟，还要能够在 MR 设备上呈现出来。这就是全保真，也就是数字孪生。

能够在 Apple Vision Pro 中实现全保真传输，有效减轻头晕等不适，3D 工作流尤其是工业数字孪生工作流还被游戏化了，相信会激发出越来越多年轻艺术家、设计师的灵感。

苹果视觉产品部门副总裁 Mike Rockwell 就表示：「通过将 Apple Vision Pro 突破性的超高分辨率显示屏与来自 NVIDIA 加速计算流式传输的 OpenUSD 内容的逼真渲染相结合，能够为沉浸式体验带来巨大的发展机遇。空间计算将重新定义设计师和开发者创造迷人数字内容的方式，推动创意与互动新时代的到来。」

NVIDIA x 西门子共同打造工业元宇宙

GTC 上还有一个演示让人眼前一亮，就是 NVIDIA 和西门子的合作案例。这段不禁让人联想到《三体》中「古筝行动」的「审判日」号巨轮。当然，Omniverse 在影视制作及媒体领域的应用更为广泛，虚拟制片早就可以以假乱真，如今有了 AI 的加持，Omniverse 能够做出更逼真的渲染和更为丰富的细节，为观众带来更为震撼的影视效果。

黄仁勋表示：「 Omniverse 和生成式 AI 都是将价值高达 50 万亿美元的重工业市场进行数字化所需的基础技术。」这个 50 万亿美元的巨大市场已然成为用软件重新定义的市场。众多行业巨头正利用数字孪生来设计、模拟、构建、运营以及优化他们的资产及工作流程。

加速计算、生成式 AI、基于 USD 的跨节点、跨地点的实时在线协同系统、基于 RTX 的高阶渲染系统……将这些 NVIDIA 的「看家本领」全部融合在一起，再从云端调用 API ，便可以更快、更好地加速工作流。

西门子是工业自动化软件基础设施、建筑技术和交通领域的领先者，结合 NVIDIA 在加速图形和人工智能领域的成果，将为用户带来生产和产品全生命周期的效率、生产力以及流程等优化提升。目前，西门子已在其 Xcelerator 平台使用 Omniverse Cloud API，最先接入的是云端产品生命周期管理软件 Teamcenter X ，将复杂的工业数据集进行统一和可视化，将数字世界和物理世界相结合。

早在 2022 年，NVIDIA 便宣布进一步拓展和西门子的合作伙伴关系，将西门子的 Xcelerator 和 NVIDIA 的 Omniverse 平台连接起来，共同打造工业元宇宙。

西门子总裁兼首席执行官 Roland Busch 表示：「通过 NVIDIA Omniverse API，西门子能够利用生成式 AI 赋能客户，使其符合物理学的数字孪生变得更具沉浸感。这将帮助所有人在实际建造前，对下一代产品、制造流程和工厂进行虚拟设计、建造和测试。通过将现实世界与数字世界相结合，西门子数字孪生技术正在帮助全球企业提高竞争力、弹性和可持续发展能力。」

结语

NVIDIA 表示，今年的主题是「让 Omniverse 的应用落地」，而 Omniverse 在全球范围内的三大应用方向分别是：数字化孪生工厂、产品设计和基于产品设计的配置系统。

此外，NVIDIA 不仅是研发者，它本身也是整个行业基于 AI 加速和 Omniverse 仿真物理孪生的受益者，如果没有 Omniverse ，没有 Omniverse API ，没有合作伙伴的技术支持，NVIDIA 也不可能如此迅速地构建好大型数据中心系统。

随着大模型的迅猛发展，相信在 AI 加持下的 Omniverse 很快将给世界带来更多惊喜，也将继续引领元宇宙和生成式 AI 的未来。