文/VR陀螺
GTC 2024，又一次产业飞跃的奠基。
北京时间 2024 年 3 月 19 日，NVIDIA 举办 GTC（GPU Technology Conference）大会。NVIDIA 创始人兼首席执行官黄仁勋宣布了 NVIDIA 的下一代芯片架构 Blackwell 及相关产品，包括该公司最新的 AI 芯片 B200，以及基于生成式人工智能、Omniverse 带来的一系列云服务与应用案例等。
这一系列的活动中，我们也看见了 XR 产业在 GPU 快速成长的 AIGC 时代的诸多可能性。本文主要以 GPU 芯片、数字孪生技术、计算机视觉、三维地图重建与定位等与 XR 领域强相关方面，作为切入观察。
2080 亿个晶体管，地表最强AI芯片――B200
“Blackwell 将成为我们历史上最成功的产品发布。”黄仁勋在会上说道。
NVIDIA 今天正式宣布 NVIDIA Blackwell 平台已经到来，为生成式 AI 计算时代提供动力。该 GPU 平台以数学家 David Harold Blackwell 的名字命名，继承了该公司两年前推出的 Hopper 架构。
新 Blackwell 架构的核心是两个新 GPU：B100 和 B200，以及一个定制解决方案 Grace-Blackwell Superchip (GB200)。其中，B200 由两个独立的芯片组成，通过 10 TB/秒的芯片到芯片链路连接，GPU 拥有 2080 亿个晶体管，远远高于 H100 GPU 的 800 亿个晶体管。
B200 （图源：NVIDIA）
B200 一经发布，外界便赋予“地表最强 AI 芯片”之称。Nvidia 表示，在处理大规模 AI 模型时，HGX B200 的推理性能比之前由 Nvidia Hopper 一代 GPU 驱动的系统高出 15 倍。在引擎盖下，每个芯片都与 4 个 HBM3E 内存堆栈配对，每个 B200 GPU 具有 192GB HBM3E RAM。
据介绍，训练一个 1.8 万亿参数的模型之前需要 8,000 个 Hopper GPU 和 15 兆瓦的电力。如今，2,000 个 Blackwell GPU 就可以做到这一点，而功耗仅为 4 兆瓦。在具有 1750 亿个参数的 GPT-3 LLM 基准测试中，GB200 的性能是 H100 的七倍，训练速度是 H100 的四倍。
为了确保训练最复杂的人工智能模型的快速连接，Nvidia 还推出了第五代 NVLink，它为每个 GPU 提供突破性的 1.8TB/s 双向吞吐量，可实现多达 576 个 GPU 的无缝高速通信。
GB200，两个 GPU、一个 CPU、一块主板（图源：NVIDIA）
将两个 GPU 与单个 Grace CPU 结合在一起的 GB200 可以为 LLM 推理工作负载提供 30 倍的性能，同时还可能大幅提高效率。
对于需要超级计算机级计算的更大型的应用，Nvidia 推出了新的 Nvidia GB200 NVL72，据称它可以胜任训练万亿参数模型的任务。
GB200 NVL72 是一款定制机架解决方案，采用多节点液冷 Nvidia GPU 服务器。它提供 72 个 Blackwell GPU 和 36 个 Grace CPU 起的配置，并作为单个系统提供 1.4 exaflops 的 AI 性能和 30TB 的快速内存。
为了获得最高的 AI 性能，GB200 驱动的系统可以与 NVIDIA Quantum-X800 InfiniBand 和 Spectrum™-X800 以太网平台连接， 这些平台可提供速度高达 800Gb/s 的高级网络。
值得注意的是，英伟达表示应用程序将能够一致地访问统一的内存空间。这简化了编程并支持万亿参数 LLM、多模式任务的变压器模型、大规模模拟的模型以及 3D 数据的生成模型的更大内存需求。
GB200 NVL72（图源：NVIDIA）
GB200 NVL72 实际上与 Nvidia 过去的 DGX 系统中使用的技术相同，使 8 个 GPU 表现得像一个 GPU。不同之处在于，使用专用的 NVLink 设备，Nvidia 能够支持更多的 GPU。
强大的 GPU 不仅能为 AI 训练提供强有力的底层支持，对于高质量图形图像要求的 XR 硬件而言，更是犹如一把利刃，可以直接或间接推动相关内容产业以及硬件的发展（长线视角）。
全新的 GPU 系列外，英伟达的工业元宇宙平台 NVIDIA Omniverse 在今年也迎来了新的升级。
Apple Vision Pro用Omniverse“拓展”未来渲染
以 Cloud API，打造更开放的 Omniverse 平台。
NVIDIA 于今日宣布将以 API 形式提供 Omniverse™ Cloud。借助五个全新 Omniverse Cloud 应用编程接口（API），开发者能够轻松地将 Omniverse 的核心技术直接集成到现有的数字孪生设计与自动化软件应用中，或是集成到用于测试和验证机器人或自动驾驶汽车等自主机器的仿真工作流中。
五个全新 Omniverse Cloud API 既可单独使用，也可组合使用。它们分别是：
USD Render：生成 OpenUSD 数据的全光线追踪 RTX™渲染USD Write：让用户能够修改 OpenUSD 数据并与之交互USD Query：支持场景查询和交互式场景USD Notify：追踪 USD 变化并提供更新信息Omniverse Channel：连接用户、工具和世界，实现跨场景协作
基于 Omniverse Cloud API 或应用程序编程接口构建的新软件框架，使开发人员可以轻松地将其通用场景描述 (OpenUSD)工业场景从内容创建应用程序发送到 NVIDIA 图形交付网络 (GDN)，全球图形就绪数据中心网络，可以将 3D 体验传输到远程硬件设备中。
大会上的演示中，Nvidia 展示了一个完全交互式的汽车模型，该模型被传输到 Apple Vision Pro 头显中。苹果 Vision 产品集团副总裁 Mike Rockwell 表示：“Apple Vision Pro 突破性的超高分辨率显示器与 NVIDIA 加速计算流式传输的 OpenUSD 内容的真实感渲染相结合，为推进沉浸式体验带来了绝佳的机会。”
该工作流程还引入了混合渲染，这是一种在设备上结合本地和远程渲染的突破性技术。用户可以使用来自 GDN 的 Omniverse RTX 渲染器流，通过 Apple 的本机 SwiftUI 和 Reality Kit 在单个应用程序中渲染完全交互的体验。
据介绍，这种基于 Omniverse 的全新工作流程将 Apple Vision Pro 突破性的高分辨率显示器与 NVIDIA 强大的 RTX 云渲染相结合，只需设备和互联网连接即可提供空间计算体验。
基于云的方法允许实时基于物理的渲染无缝传输到 Apple Vision Pro，提供高保真视觉效果，而不会影响大量工程保真度数据集的细节。
从长远发展角度来看，云服务的确是降低产品侧功耗，提升用户多样化体验的必经之路，不过，大量数据的传输，同样需要较高的带宽网络服务。当然，强大的云端服务渲染与硬件的结合，也是理想化的数字孪生世界中的基建。
Earth-2 气候数字孪生云平台，速度与精度的新结合
在 AI 的助推下，数字孪生正在悄然发生变化。
为加速应对气候变化导致的极端天气所造成的经济损失，NVIDIA 于还发布了 Earth-2 气候数字孪生云平台，使天气和气候的模拟和可视化达到前所未有的精度。
NVIDIA 创始人兼首席执行官黄仁勋表示：“如今气候灾害很常见，新闻中时常会看到历史性的干旱、灾难性的飓风和百年不遇的洪水。Earth-2 云 API 将帮助我们更好地应对极端天气，使我们可以采取行动以缓解极端天气的影响。”
作为同于今日发布的 NVIDIA CUDA-X™ 微服务的一部分，NVIDIA DGX Cloud™ 上的全新 Earth-2 云 API 能够支持所有用户创建基于 AI 的仿真，从而加快实现交互式、高分辨率模拟的速度，模拟范围从全球大气和局部云层到台风和湍流。
当前气候技术行业的规模已达 200 亿美元，Earth-2 应用编程接口通过结合该行业的公司所拥有的专有数据，可帮助用户在数秒内发布预警和最新预报。而使用传统模型在 CPU 上运行，这一过程需要耗时数分钟乃至数小时。
Earth-2 API 提供各种 AI 模型，并且新添加一种名为 CorrDiff 的全新 NVIDIA 生成式 AI 模型。该模型基于领先的扩散模型技术，能将当前数值模拟的分辨率提升 12.5 倍，相比传统方法，速度和能效分别提升了 1000 倍和 3000 倍。它不仅可以纠正粗分辨率预报中的错误，还能够生成对决策至关重要的指标。CorrDiff 是一个开创性的生成式 AI 模型，能够实现超分辨率，生成利益相关方感兴趣的新指标，并且可以从高分辨率数据集中学习小范围局部天气的物理特性。
Earth-2 云 API 的另一个关键组成部分是 NVIDIA Omniverse™，该计算平台可帮助个人和团队开发基于通用场景描述（OpenUSD）的 3D 工作流与应用。
Earth-2 API 使用 DGX Cloud 为气候和天气解决方案提供全栈加速，其中包括 FourCastNet、GraphCast 和 Deep Learning Weather Prediction 等模型的最佳 AI 实现、在最新 Grace Hopper 系统上对 ICON 等数值天气预报模型的 GPU 加速等。在 NVIDIA DGX GH200、HGX H100 和 OVX 超级计算机上运行的 Earth-2 在进行全球气候模拟和可视化上实现了前所未有的速度与精度。
Isaac Perceptor软件开发工具包，内含XR猛料？
作为本次 GTC 活动的彩蛋之一，演讲接近尾声之时，黄仁勋展示了来自迪士尼研究院的一对由 NVIDIA 驱动的小型机器人。
GPU――AIGC――机器人，三者无疑是生成式人工智能时代最完美的结合体。为了帮助机器人更好地感知所处环境，黄仁勋还发布了 Isaac Perceptor 软件开发工具包，该工具包具有最先进的多摄像头视觉里程计、3D 重建和占用地图，以及深度感知功能。
为了使机械臂更具适应性，NVIDIA 宣布推出 Isaac Manipulator ―― 一个先进的机械臂感知、路径规划和运动学控制库。
最后，黄仁勋宣布了 Project GR00T，这是一个为人形机器人设计的通用基础模型，旨在进一步推动 NVIDIA 在机器人技术和具身智能方面的突破性工作。
为了支持这一努力，黄仁勋推出了一款用于人形机器人的新型计算机 Jetson Thor，它基于 NVIDIA Thor 系统级芯片，并对 NVIDIA Isaac 机器人平台进行了重大升级。
黄仁勋表示：“计算机图形学、物理学和 AI 是 NVIDIA 的灵魂所在，生成式 AI 时代一切改变都有可能发生。”
事实上，除了机器人应用之外，从 Isaac Perceptor 软件开发工具包包含的技术，特别是多摄像头视觉里程计、3D 重建和占用地图，以及深度感知功能，与 XR 有着千丝万缕的联系。
通常情况下，一个支持 6DoF 的 VR/MR 头显不仅需要内置 IMU、还需要相应的外部追踪系统与 SLAM 算法、去识别和标记周围环境，以及自己的位置，以此重建三维视图。而目前 XR 设备中最常用的就是基于摄像头的计算机视觉技术，包括 Quest 3、Vision Pro 等。
这一基础原理与 AI 机器人在三维视觉地图重建上，其实有着异曲同工之处。对于 NVIDIA 而言，拓展 XR 算法与渲染也许并不难。就目前来看，仅是时间节点与关注度问题。
写在最后
从底层 GPU 硬件，到以 Omniverse 为主的数字孪生技术生态，Isaac Perceptor 软件开发工具包，NVIDIA 正在无形之中参与空间计算的革命浪潮。
至于 XR 如何才能真正乘上 AIGC 风口，迎来空间计算时代的小爆发，且让子弹再飞一会儿。
参考资料：https://nvidianews.nvidia.com/news/
原文标题 : 最强AI核弹！英伟达将成空间计算时代最大推动力
