AI、虚拟世界和数字人正在推动视觉设计进入更宽广的轨道。
在 SIGGRAPH 大会上,NVIDIA 高管发表的简短的特别演讲令人大开眼界,其中不仅描述了推动图形新时代发展的力量,还介绍了 NVIDIA 致力于扩展新工具并为加速图形技术发展不遗余力。
NVIDIA 创始人兼首席执行官黄仁勋在为时 45 分钟的演讲中谈到:“元宇宙是互联网的再次演进,而 AI 和计算机图形技术的结合将为元宇宙提供动力”。
它将成为互联虚拟世界和数字孪生的枢纽,成为工作和娱乐的心选之地。黄仁勋还表示,数字人虚拟形象将成为未来广受欢迎的机器人形式之一,将为这个领域注入更多生机与活力。
通过 45 个演示和幻灯片,5 位 NVIDIA 演讲者发布了如下公告:
NVIDIA Omniverse Avatar Cloud Engine (ACE),用于创建虚拟形象的新平台。
构建 Universal Scene Description (USD) 的计划,USD 是元宇宙的语言。
对 NVIDIA Omniverse(用于创建虚拟世界和数字孪生的计算平台)的主要扩展。
利用机器学习为图形工作流提供强效助力的工具。
他谈到,“我们今天发布的公告进一步推动了元宇宙的发展,这是一个新的计算平台,具有新的编程模型、架构和标准。
元宇宙应用已应运而生。
黄仁勋指出,“用户可以尝试使用增强现实的虚拟 3D 产品,电信公司正在创建其无线电网络的数字孪生来优化和部署无线电塔[以及]许多公司都在创建仓库和工厂的数字孪生以优化其布局和物流。”
输入虚拟形象
元宇宙的世界离不开虚拟助手,我们与虚拟形象的互动将像与另一个人交谈一样自然。他们将在数字工厂工作,玩在线游戏,并为电子零售商提供客户服务。
黄仁勋说,“虚拟形象在 Omniverse 中进行设计、训练和操作,会成为广泛使用的机器人之一,数目将增长至数十亿个”。
数字人和虚拟形象需要自然语言处理、计算机视觉、复杂的面部和身体动画等技术。为了以逼真的方式移动和说话,这套复杂的技术必须同步到毫秒。
尽管非常艰巨,NVIDIA 仍致力于通过 Omniverse Avatar Cloud Engine 简化和加速这项工作。ACE 是基于 NVIDIA 工作构建的一系列 AI 模型和服务集合,涵盖从对话式 AI 到 Audio2Face 和 Audio2Emotion 等动画工具的所有内容。
NVIDIA 图形和 AI 总监 Simon Yuen 表示,“借助 Omniverse ACE,开发者可以在任何公有云或私有云中,在任何引擎中构建、配置和部署其虚拟形象应用。我们希望为每个平台构建交互式虚拟形象。”
ACE 将于明年初推出,可在嵌入式系统和所有主要云服务中运行。
Yuen 还展示了新版 Omniverse Audio2Face,这是一种可以直接通过声音创建面部动画的 AI 模型。
丽台科技
5
“ 新版 Omniverse Audio2Face 演示 ”
他谈到,“我们刚刚添加了更多功能来分析您的情绪,并自动将您的情绪传递给虚拟形象。”
未来版本的 Audio2Face 只需一张照片即可创建虚拟形象,自动应用纹理并生成动画就绪型 3D 网格。它们将对肌肉运动进行高保真模拟,AI 可以通过观看视频来汲取经验。生成的头发不仅效果逼真,还会对虚拟梳理做出预期的反应。
USD 是 3D 互联网的基础
元宇宙的许多超能力都以 USD 为基础,而 USD 是 3D 互联网的基础。
NVIDIA Omniverse 和模拟技术副总裁 Rev Lebaredian 表示,元宇宙“需要一种标准的方式来描述 3D 世界中的所有事物”。
将 USD 与 2D 网络中的 HTML 比较时,他补充道,“我们认为,Pixar 发明和开源的 Universal Scene Description 是互联网新时代的标准场景描述”。
Lebaredian 将 NVIDIA 对 USD 的愿景描述为创造比现实世界中更多机遇的关键。
他说:“我们的下一个里程碑旨在使 USD 在实时、大规模虚拟世界和工业数字孪生方面发挥卓越性能。”NVIDIA 计划帮助 USD 为构建国际字符集、地理空间坐标以及物联网数据的实时串流提供支持。
NVIDIA 计划投资 USD
为进一步加速 USD 的采用,NVIDIA 将发布 USD 兼容性测试和认证套件。它可让开发者了解其自定义 USD 组件会产生预期结果。
此外,NVIDIA 还发布了一组模拟就绪型 USD 素材,专为工业数字孪生和 AI 训练工作流而设计。他们加入了大量的免费线上 USD 资源,包括 USD 就绪型场景、点播教程、文档和讲师指导式课程。
Lebaredian 表示,“我们希望每个人都能为构建和推进 USD 发展贡献一己之力。”
Omniverse 扩展调色板
对 NVIDIA Omniverse 的主要新版本的公告是特别演讲的重要内容之一,其下载量已达 18.4 万次。
丽台科技
18
“ 构建 Omniverse 基础技术展示 ”
黄仁勋将 Omniverse 称为“一个 USD 平台、是构建元宇宙应用的工具包,以及运行虚拟世界的计算引擎。”
其新版本包含多项升级的核心技术,并支持与更多热门工具连接。
这些名为 Omniverse Connector 的链路现已面向 Unity、Blender、Autodesk Alias、Siemens JT、SimScale、Open Geospatial Consortium 等进行开发。连接器现已推出测试版,适用于 PTC Creo、Visual Components 和 SideFX Houdini。Siemens Xcelerator 现已成为 Omniverse 网络的一部分,这些新开发的加入使队伍更加壮大,将携手迎接更多工业客户进入数字孪生时代。
NVIDIA 专业图形副总裁 Steve Parker 表示,“Omniverse 与互联网本身一样,是一个由网络组成的‘网络’,可连接各行各业和各学科的用户。”
NVIDIA Omniverse 新功能
近十几个合作伙伴将在 SIGGRAPH 上展示 Omniverse 功能,包括硬件、软件和云服务供应商,例如 AWS、Adobe、戴尔、Epic 和微软。六家合作伙伴将就 AI 和虚拟世界等主题举办会议,将由 NVIDIA 提供支持。
加快物理速度,创建动物动画
Parker 详细介绍了 Omniverse 中的多项技术升级,涵盖了使用材质定义语言 (MDL) 模拟物理属性准确的材质、使用 PhysX 的实时物理,以及 RTX(即混合渲染和 AI 系统)等增强功能。
Parker 认为,“从边缘到云端,这些核心技术支柱都由 NVIDIA 高性能计算提供支持。”
例如,PhysX 现在支持软体和粒子布料仿真,可实时为虚拟世界带来更高的物理精度。并且,NVIDIA 完全开源 MDL,因此可以轻松支持 OpenGL 或 Vulkan 等图形 API 标准,从而使开发人员可以更广泛地使用材料标准。
Omniverse 还将包括 NVIDIA Research 开发的结合了 RTX 图形和 AI 的神经图形功能。例如:
动物建模师允许艺术家可以使用激光点云迭代动物的形状,然后自动生成 3D 网格。
GauGAN360 是 NVIDIA GauGAN 的下一代次演进,可生成 8K 360 度全景图并轻松加载到 Omniverse 场景中。
Instant NeRF 根据 2D 影像创建 3D 对象和场景。
机器学习框架 NVIDIA Modulus 的 Omniverse Extension 将让开发人员使用 AI 将现实世界物理的模拟速度提高 10 万倍,因此元宇宙的外观和感觉就像现实世界一样。
此外,Omniverse Machinima 作为 SIGGRAPH 大会主题的激烈竞赛主题,竞技内容来源于“战争附言 (Post Scriptum)”、“Beyond the Wire”和“影子武士 3 (Shadow Warrior 3)”,以及新的 AI 动画工具,如 Audio2Gesture。
>