all in 凯发app的nvidia 全面发力ai?
导读:
nvidia gtc 2023 线上大会将于3月20日至23日举行。据 nvidia(英伟达)官方消息,nvidia 创始人兼 ceo 黄仁勋将于北京时间3月21日23:00,在 gtc 2023 上发表关于生成式 ai 、元宇宙、大型语言模型、云计算等领域最新进展的主题演讲。
黄仁勋表示:“ ai 正迎来有史以来最辉煌的时刻。新的 ai 技术和迅速蔓延的应用正在改变科学和各行各业,并为成千上万的新公司开辟新的疆域。这将是我们迄今为止最重要的一次 gtc 。”此次大会也被 nvidia 定义为“ ai 和元宇宙时代的技术大会”。
nvidia 到底是一家什么公司?做显卡的?做 gpu 的?都不对,在你所熟知的每一波科技浪潮中,都有 nvidia 的身影。无论是数字孪生、人工智能,还是自动驾驶……就连爆火的 chatgpt 的算力也是由 nvidia 提供。哪里需要芯片和算力,哪里就有 nvidia 。而以上这些,都是元宇宙的一部分。
自 gtc 2021大会上 ceo 黄仁勋为以虚拟形象亮相,被视为 nvidia 全面 all in 元宇宙的重要节点。众多媒体报道中也纷纷提到,“ nvidia 正不遗余力地布局元宇宙”。这里就不得不提到 omniverse ,用 nvidia 自己的话说:“ omniverse is everywhere!可以看到 nvidia omniverse 如何让艺术家无界合作,见证模拟世界以训练 ai ,同时探索学习构建数字孪生。我们正在用 nvidia omniverse 实现这一切!”
nvidia 凯发app的解决方案架构师曹徐伟向元宇宙媒体 metapost 介绍,omniverse 是一个致力于连接和创造的开放平台,也是 nvidia 构建的能让更多人参与的创建元宇宙的 ugc 工具。
此外,nvidia 非常注重生态社区的发展,在提供服务的同时,将很多用户发展成了凯发app的合作伙伴。优质的凯发app的合作伙伴可以帮助用户更轻松、容易地使用 omniverse ,并建立起 nvidia 与用户之间沟通的桥梁。
上海信弘智能科技有限公司(zentek)是 nvidia 核心凯发app的合作伙伴之一,他们具有出众的开发能力,不断深耕nvidia gpu , dpu 及各种软件的用户场景,基于 omniverse 产品,在数字人、多人协同、虚拟场景搭建等方面深入的研究和丰富的经验。 zentek 致力于数据中心级计算加速凯发app的解决方案,基于 gpu 产品提供人工智能、高性能计算、大数据领域数字化转型提供专业服务。客户遍布教科研、高科技、设计、互联网、金融等行业,从咨询规划、测试选型、到部署实施并提供后续的运营维护。
zentek 在接受元宇宙媒体 metapost 采访时表示,相较现实世界,元宇宙的市场空间和产业机会有极大的潜力。未来,所有的设计师、创作者都有机会在虚拟世界中构建数字作品。未来元宇宙经济规模有可能会比物理世界中的经济规模大很多倍。不管是不同的虚拟世界,还是虚拟世界和现实世界之间,至关重要的共同基础都是如何呈现体验、彼此连接。omniverse 就是一个连接现实和虚拟世界的媒介,zentek 也恰恰如此,是连接客户和nvidia 之间的一个媒介。
精华速览:
· nvidia 构建的元宇宙应用程序平台,不仅可以构建元宇宙,还可以用来操作元宇宙。
· 未来多数虚拟世界的用户仍会使用电脑、手机、平板等进入虚拟世界。
· nvidia 更多地是做底层的架构,服务更多的创作者,让他们能在元宇宙中创造出他们想要的虚拟世界。
· omniverse 是一个致力于连接和创造的开放平台,助力解决世界最艰难的工程和科学问题。
· 相较现实世界,元宇宙有更大的市场空间和产业机会,可以让更多的设计师、创作者在虚拟世界中构建数字作品。
· nvidia 正在构建能让更多人参与的创建高保真虚拟世界的 ugc 工具。
· 所有与 ai 相关的领域都是 nvidia 重点关注的领域。
嘉宾简介:
nvidia 凯发app的解决方案架构师 曹徐伟
nvidia 凯发app的解决方案架构师 曹徐伟:致力于 aec 行业的 omniverse 推广和技术解决工作,并借助强大的 ar 工具,以及高性能算力助推传统设计工作流程的变革。加入 nvidia 之前,曾就职于现代设计、gad、benoy 等知名建筑事务所,曾参与 zaha 的虹桥 soho 和 kpf 的超高层设计、闵行体育中心的红馆异形设计、环球影城的bim 正向设计,以及将要建成的 gad 杭州总部大楼设计。
zentek 设计行业顾问 刘思蔚
zentek 设计行业顾问 刘思蔚:曾就职于英国工程顾问公司 buro happold,曾主导上海国际新文创电竞中心、深圳演艺中心等多个建筑项目方案阶段的参数化设计和可视化课题研究。热衷于构思创意和集成的凯发app的解决方案,将前沿技术应用于设计领域,为行业带来突破性创新的可能。
01
nvidia:
元宇宙是一个庞大的 3d 数据库
metapost:提到元宇宙,很难不想到 nvidia 。在今年 1 月的 ces 展上,nvidia 又发布了多项与元宇宙相关的产品更新。那么,nvidia 是怎样理解元宇宙的?
曹徐伟:我们认为元宇宙是一个包罗万象的概念,并且有可能是下一代互联网的目标或最终形态。
九十年代第一代互联网出现,大家通过 html 把所有元素链接起来,打开电脑拨号上网,并通过浏览器可以看到网页的文字、图片,后来慢慢地有了声音、有了 flash ,有了一点简单的动画,再后来有了视频。每一种内容都是不同格式的文件,比如 txt 是文字的,图像是 gif 或 jpg ,视频是 avi 等。不同的文件格式,要用不同的软件才能打开。而 html 把上述所有元素集成到一个网页上,这就是 web1.0。
到了 web2.0,就是移动互联网,有了 android 和 ios 移动设备,手机就可以随时随地联网,音、视频通话、工作、游戏、刷视频。
如今,我们认为第三代互联网应该是 3d 的,可以将所有事物连接在一起,形成一个庞大的 3d 数据库,这就是nvidia 构建的元宇宙应用程序平台——一个大型 3d 实时计算平台,它不仅可以构建元宇宙,还可以用来操作元宇宙,它将所有 3d 设计师团队实时连接起来,实时运行和模拟虚拟世界。
而元宇宙是一个宽泛的不同类型虚拟世界的合集。我们可以跨越现实世界的万里之遥,在同一个空间里游戏、设计、工作和创造。虚拟世界涵盖了娱乐、工业、设计等无数应用场景。当然,体验元宇宙的终端设备不仅有手机,还有 ar 和 vr 等方式。当所有底层技术、设备和内容形成一个庞大的体系,我们可以在虚拟世界中有一个虚拟身份,交互体验、社交娱乐甚至工作,这可能就是未来元宇宙的终极形态。
目前许多元宇宙案例都聚焦在扩展现实(包括 vr、ar、mr ),但这只是虚拟世界的体验方式之一,绝非唯一。就像今天的多数玩家仍在用2d设备体验 3d 的游戏世界,我们认为未来多数虚拟世界的用户仍会使用电脑、手机、平板等进入虚拟世界。
02
nvidia 在元宇宙都有哪些布局?
metapost:很多媒体报道都提到,“ nvidia 在不遗余力地布局元宇宙”。到目前为止, nvidia 在元宇宙领域都有哪些布局?
曹徐伟:从软件层面,我们有 omniverse 作为主要的承接载体,配合皮克斯开源的 usd 通用场景描述格式,在 nvidia 的定制下,兼容更多的软件与功能。从建筑、工业数字孪生,再到娱乐传媒的内容制作,omniverse 可以连接市面上绝大多数软件格式,自动转换,大大降低了各个软件之间的格式壁垒。并在强大的 nucleus 服务器支持下,实现多人实时协作。
硬件层面,omniverse 可以借助强劲的 gpu 性能和光线追踪技术,可以实现逼真的实时渲染效果和先进的 ai 性能。从视频解码、渲染速度,到高性能的计算都实现了质的飞跃。
我们还针对企业级用户推出 nvidia ovx 专业服务器。数字孪生彻底改变了企业设计、测试和优化复杂系统及流程的方式,这需要多个自主系统在同一时空中进行交互。 nvidia ovx 为大规模工业数字孪生提供了凯发app的技术支持,以实时创建和运行非常复杂的模型和逼真的仿真环境。
元宇宙最离不开 3d 资产的建立,我们有众多工具插件,使客户更容易便捷地获得资产。nvidia 更多地是做底层的架构。我们不做内容,而是去服务更多的创作者,让他们能在元宇宙中创造出他们想要的虚拟世界。
此外,我们还有很多的生态伙伴,包括我们很多的用户也成为了我们很好的凯发app的合作伙伴。他们有很强的开发能力,在 omniverse 进行深耕,并且拓展了 omniverse 的功能。比如 zentek ,他们在 omniverse 已经具有很强的功底,在数字人、协同,还有产品搭建等,都有丰富的经验和案例。这样优质的凯发app的合作伙伴可以帮助我们的客户客更轻松、容易地使用 omniverse ,并建立起 nvidia 与客户之间的桥梁。
03
omniverse:
一个致力于连接和创造的开放平台
metapost:omniverse 是一个怎样的平台?它解决了怎样的行业痛点?omniverse 可以连接元宇宙,那现在的布局中,已经实现了哪些技术或实践的突破?
曹徐伟:omniverse 是一个启用多 gpu 的开放式云原生平台,支持实时协作,不仅适用于企业,同样适用于个人创作者,是一个致力于连接和创造的开放平台。
omniverse 作为虚拟场景的基础架构,解决了多软件数据传递的壁垒,将协同与实时修改发挥到了极致。
说到技术上的突破,不得不提 omniverse 中的明星产品 audio2face 和 audio2gesture ,可以让普通人轻松打造属于自己的数字人和场景。
我们现在拥有技术来创造现实世界的全真数字孪生,这种新的技术革命将为现实世界带来巨大变革,就像互联网改变世界一样,几乎每个行业都将受益于自己运营一个虚拟世界,或者参与进一个虚拟世界。创作者们将为虚拟世界设计出比在现实世界更多的作品,企业将建立无数产品、环境、空间的数字孪生,小到日常生活,大到全球拟真。仿真将为所有企业带来巨大的机会,因为在实际生产之前,几千次的虚拟仿真生产将有效为生产过程降本增效。从这个角度来讲,omniverse 是一种专注于连接和建立现实精准的虚拟世界或数字孪生的技术工具,助力解决世界最艰难的工程和科学问题。
刘思蔚:从一个用户的角度来看,在过去的尝试中,omniverse 就是一个加速设计协作的平台。举个例子,像建筑设计专业的一些内容,要给工程师进行传递,之后可能还涉及到建造阶段,甚至在最后给客户进行呈现,原来这是一个线性的关系,是一环扣一环的。过去每个项目可能需要花费一周的时间进行迭代,现在通过omniverse,就可以实时协作去解决。
omniverse 解决的挑战主要有三个方面:首先,现在有越来越多的跨团队和跨地域协作,在这样一种复杂的混合式工作流程当中,omniverse 就在协同层面给大家了提供了很大帮助。其次,从软件层面来讲,各行各业的软件,经常面临一个导入导出的问题,各种格式非常繁杂,这个过程中经常会导致一些模型出错。omniverse 可以自动完成相关的转换工作,很好地解决了这一问题。最后,未来对于算力的要求会越来越高,比如做一些物理仿真,要做实时光线追踪,甚至要结合更多的ai工具,omniverse 就在底层提供了非常好的基础,来支持我们更好地创作和呈现。
而相较现实世界,元宇宙的市场空间和产业机会有极大的潜力。未来,所有的设计师、创作者都有机会在虚拟世界中构建数字作品。今天,大多数设计师还在设计物理世界中的汽车、建筑、服饰。在虚拟世界中,以上的设计都会丰富很多倍。未来元宇宙经济规模有可能会比物理世界中的经济规模大很多倍。
04
为什么说 usd 是元宇宙未来的基础?
metapost:nvidia 曾多次公开表示,希望成为元宇宙领域的基础设施供应商,而通用场景描述(usd)则是元宇宙未来的基础。为什么说 usd 是元宇宙的基础?
曹徐伟:我们的虚拟世界包含大量不同来源的信息和数据,因此在设计和编辑过程中将会产生大量信息数据的传输。为了能真正意义上实现现实世界的数据与虚拟世界的数据连接,并将这些工作流程很好地结合到一起,让我们不得不提到 usd 也就是通用场景格式。
web3.0 的数字世界,数据将不会是各自为政,就像现在互联网的 html 一样,数据的格式一定会被打通。通用场景描述格式是以层的形式来组建场景和模型,让每个设计师都可以在自己的那一层工作而互不干扰。对于模型本身,通用场景描述格式不仅包含了三维模型的结构,还有色彩、材质、灯光、物理属性等等。在确保生态系统互用的前提下,把全保真资产导入其中,以非破坏性的工作流加速投产时间。
刘思蔚:元宇宙其实非常强调互联互通,要把不同内容结合进来,用户会希望有一个通用的格式。usd 提供了一个非常好的开源且开放的模式,允许大家去自定义做一些编辑。在这个过程中,omniverse 可以自动完成格式转化,既不改变现有的工作流程,又可以大大提高效率并降低成本。
05
omniverse:
创建虚拟世界的 ugc 工具
metapost:omniverse 在 nvidia 的元宇宙布局中扮演着怎样的角色?
曹徐伟:omniverse 不仅是实时、物理级准确的世界模拟和 3d 设计协同工作平台,更是各种 3d 资产的桥梁。同时让创作者从单一线性的工作流解放出来,不仅提升工作效率,也降低了沟通成本。
对 omniverse 虚拟世界来说,nvidia 专注于两大问题:一是让所有人都能很简单地参与到构建高保真的虚拟世界中来;二是让本地计算和云计算更有效率地把虚拟世界仿真度提高到现实世界的水平。通过高级计算、仿真模拟、机器视觉、人工智能,我们正在构建能让更多人参与的创建高保真虚拟世界的 ugc 工具。
刘思蔚:不管是不同的虚拟世界,还是虚拟世界和现实世界之间,至关重要的共同基础都是如何呈现体验、彼此连接。
我们可以把 omniverse 理解为一个连接现实和虚拟世界的媒介。过去我们可能需要花费大量的精力去完成一些元宇宙场景的搭建,但是现在用 omniverse 这样一个优化的加速计算平台,结合一些 ai 工具,可以帮助创作者更好、更快地把创意呈现出来,也提供了更多的可能性。
zentek 不仅仅是 nvidia 的核心凯发app的合作伙伴,在深度使用 omniverse 的过程中,我们也在不断研发、拓展,开发出更多应用和场景,并提供完整的服务体系,包括培训、定制化产品和凯发app的解决方案等。所有的企业和创作者都是我们的客户,我们的角色更像是客户和 nvidia 之间的一个媒介和桥梁。
06
虚拟制片:
手机拍摄 ai 快速搭建起虚拟化场景
metapost:omniverse 目前最主要的应用方向是什么?
曹徐伟:主要用于建筑工程、媒体娱乐以及工业与制造业。
omniverse 除了可以驱动人物变形、口型变化,也加入了一些 ai 的功能,包括提问、手势反馈等互动。比如无人咖啡点吧,你可以看到一个数字人,跟它说我要一杯什么咖啡,或者随便问问天气,数字人会为你下单制作咖啡,并回答你的问题,还会有逼真的表情。类似于 chatgpt 用文字回答问题,但我们做出的是可视化虚拟人物或虚拟形象在跟你交流,更现实,互动感更强。简单来说就是把人工智能和数字人结合在一起,应用到更多的产品和场景中。
另外就是虚拟制片行业,我们突破了以往的传统制片,比如在数字拍摄时,要做一些三维的数字创建,用户就可以通过手机,实时采集你需要的环境,变成数字化展现,后期再通过处理就能变成一个数字资产。这种技术让数据采集变得更加容易,只需要围绕一个环境拍摄一段视频,通过ai就能快速搭建起整个虚拟化的场景。
07
数字工厂体现了
omniverse 强大的模拟仿真功能
metapost:omniverse 在不同领域,还有哪些代表性的案例?
曹徐伟:我们此前和宝马合作,制作了一个宝马数字工厂,将整个宝马工厂1:1地还原出来。宝马数字工厂体现了 omniverse 强大的模拟仿真功能,通过 ai 计算,将物料和机械设备进行摆放,基于人工智能自动运载的机械手臂、机器人,或者自动驾驶车辆有效地利用和组织。之后我们还会加入 iot 的数据输入,真正将现实工厂与omniverse 中虚拟工厂完全绑定在一起。
此外,我们还有与西门子合作的机械臂制造加工厂,与亚马逊合作的智能仓库等等。
近期,我们还正与英特尔联手打造面向新一代创作者的全新工作站——元宇宙工作站。元宇宙工作站汇集了最高水平的人工智能计算、渲染和模拟性能,以应对数据科学、制造、广播、媒体和娱乐、医疗保健等领域的苛刻工作负载。新的英特尔 xeon w 处理器与全新的 nvidia gpu 相结合,将助力全球创作者、艺术家、工程师、设计师、数据科学家等,释放更多创意和创造力。
08
omniverse 和 metaverse 异曲同工
metapost:omniverse 在2019年提出,2020年上线,那时元宇宙概念还没火,随着元宇宙概念的爆发,omniverse 的定位有变化吗?目前的重点和下一阶段的发展方向是怎样的?
曹徐伟:其实 omniverse 本身就是全宇宙、包罗万象的意思,和 metaverse 异曲同工。
目前我们主要关注如何推进元宇宙的基础算力建设。nvidia 一直以来更多的是做基础架构,比如在 omniverse 之前,我们主要做显卡的集成算力,现在 chatgpt 背后的算力支持,就是用的我们 nvidia 的技术。
大家可以关注3月20日的 gtc 2023 大会,届时会有更多与 ai 和 omniverse 相关的内容发布。不过从今年1月的 ces 上其实可以看到,我们的产品已经有了更多 ai 的介入。
09
nvidia 会做 xr 头显吗?
metapost:nvidia 提供了创造虚拟世界的凯发app的技术支持,未来会做 xr 头显等终端设备来链接和呈现虚拟世界吗?会做 to c 的元宇宙产品吗?
曹徐伟:to c 的终端产品我们暂时不会做,不过我们还是会提供一些凯发app的技术支持,比如 vr 、ar 的串流技术。如果直接把所有的素材搬到 vr 场景里,数据量非常大,是没办法实现的。通过串流,就可以很容易地在 vr 世界里看到一个很庞大的虚拟场景。
目前已经支持利用 vr 设备接入到 omniverse ,在虚拟世界中实现沉浸式的交互体验,结合不同的数字工具帮助我们实现作品的创新。同时还有 cloudxr 技术来实现高效的面向扩展现实的串流。
模拟高保真虚拟世界是一个颇具挑战性的问题,而几乎所有游戏引擎仅限于运行在一台计算机上。如果要模拟更大更保真的世界,需要更多的算力让它更快生成。通过云计算,我们可以将云数据中心的算力为我所用,从而投入更多的计算能力让我们的虚拟世界更大、更复杂、更丰富。
nvidia 的主要关注点还是在 gpu ,会围绕不同的应用场景做更多的基础建设,引入更多的参与者加入其中,与凯发app的合作伙伴一同营造社区生态。
10
nvidia 关注所有与 ai 相关的领域
metapost:nvidia 此前已经跟奔驰、宝马等多个汽车品牌合作,近期又宣布与富士康合作,共同开发自动驾驶和自动驾驶汽车平台。ai 和自动驾驶会是 nvidia 接下来的重点布局吗?
曹徐伟:所有与 ai 相关的领域都是我们重点关注的领域,不仅仅在自动驾驶上,也包括数字人以及模拟仿真等等。
nvidia ceo 黄仁勋曾讲过:其实 ai 更多是作为助手辅助人类工作,有了像 chatgpt 这样的工具,人人都可以是编程师,只要把你想要的内容描述给 chatgpt ,它就能反馈给你一段代码,这段代码就可以很容易地在各种程序端呈现出你想要的内容。
其实我们想做的 ai ,就是让所有人更轻松容易地去使用产品,最终呈现出用户想要的内容。nvidia 的布局理念跟 omniverse 产品相似,我们还是做一个平台,也为自动驾驶提供凯发app的技术支持。现在国内的造车新势力有几家品牌都用到了我们的芯片等硬件和模块化内容。
技术本质上还是工具,无论是过去的技术还是未来的技术,其实都只是我们用来呈现创意和设计的方式。如何利用好这些工具改变我们创建虚拟世界的方式,让各种活动结合设计实现无限的互动和体验,是值得我们不断思考的问题。