凯发app(metaverse)是关于外界被用户(人类或非人类)感知为一个建立在数字技术之上的宇宙的一种体验,这个宇宙或者是与我们当下的宇宙不同的宇宙(虚拟现实),或者是我们当下的宇宙的一种数字扩展(增强现实),或者是我们当下的宇宙的数字对应物(数字孪生)。广义上,元宇宙是数字化转型的高级阶段和长期愿景。普遍认为,元宇宙将对我们的日常工作和生活产生深远的跨越各行各业的影响,重塑全人类的经济和社会。
“第三届北美国际嘉年华”暨“海峡论道”第五期由北美中国理事会(north america china council)和“海峡链”共同举办,旨在探讨关于元宇宙的定义和标准,以及元宇宙相关技术如何与产业结合。本期“海峡论道”于北京时间2月13日上午举行,得到了ieee标准协会主席袁昱博士、21世纪资本研究院特约元宇宙首席研究员颜阳等多位专家的支持。会议开场,由海峡链创始人兼ceo王超博和ieee标准协会主席袁昱博士围绕元宇宙的趋势、挑战、技术路径和标准化等方面,进行了《数字化5.0:元宇宙》的对话。以下是本期“海峡链论道”的精彩回顾,欢迎大家观看听取顶级专家对元宇宙的见解,了解元宇宙的定义和相关技术标准。
以下是袁昱博士分享的内容:
大家好,首先简单和大家介绍一下我的背景。我现在兼任ieee虚拟现实与增强现实的顾问委员会主席,ieee元宇宙标准委员会的创始主席,以及ieee光电子标准委员会副主席和ieee消费技术协会区块链标准委员会秘书长。实际上,我个人从事多媒体和元宇宙相关的工作已经有二十多年,虽然之前我们并不把这方面的工作叫做元宇宙,从事区块链也应该有五六年的时间,所以我觉得在这两个方面,我应该还是有一些积累可以分享给大家。今天为大家分享的主题是关于《数字化 5. 0:元宇宙》。
01 元宇宙是什么?
关于元宇宙的历史有很多不同的分析。我这个版本可能是一个最简化的版本。大家都知道在1992年,neal stephenson 在他的《snow crash》 科幻小说中,创造了 metaverse 这个词。在此之前,在1974年, steve mann(可穿戴之父),他首创了 metavision 这个词,用 meta 来形容增强、扩展现实当中的可穿戴的计算设备,所以他是在 1974 年创立了 metavision。那么,在1992年,neal stephenson 的《snow crash》这本书出版之后,下一个大事件是 2003 年的 second life (第二人生)的上线。second life 被认为是第一个元宇宙的雏形,或者我们叫 embodiment。
元宇宙这个词之所以火起来,其实有两个重大事件发生,第一个是 roblox 公司的 ipo,它在招股书中把自己描述成一家做元宇宙的公司,并且列出来了它所认为的元宇宙的 8 大特征。当然这个地方有一个槽点,要向大家特别指出。roblox 的招股书中总结了元宇宙的 8 大特征,其中有一条叫 low friction, 这一条如果你仔细去读它所表达的意思,它指的是“低摩擦”,换句话说是易用性。但是国内有不少翻译把 low friction 翻译成了“低延迟”,根本没去看原文后面的具体阐述是什么,所以出现了以讹传讹的现象。如果你看到国内的一些关于元宇宙的著作或者报告中引用 roblox 总结的元宇宙的 8 大特征的时候,如果其中有一条是“低延迟”,基本上可以判定这篇著作或者报告是不够严谨的,这是我个人分享给大家的一个判断方法。
元宇宙烧的第二把火就是 facebook 更名为 meta。它要 all in 元宇宙,不仅公司把名称改了,而且在软件、硬件方面也做了非常多的工作。大家都知道,最近 meta 在股价方面不是特别理想,但是 meta 仍然坚持在元宇宙领域持续地投入,我个人认为这是非常值得佩服的。
之所以要回顾元宇宙的历史,是为了我们对元宇宙有一个定义方面的认知。其实有不少人认为,也许我们可以搁置争议,暂且不去管元宇宙的定义是什么,先做下去就好。但是我个人认为,我们还是要对元宇宙有个相对达成共识的定义,这样很多的讨论才能在一个共同的基础上进行。
如果稍微原教旨主义一点,或者回顾元宇宙这个词的由来,正好就是 metaverse 这个词的创造者 neal stephenson,他曾发了一条 tweet,回顾说在他的书中元宇宙都指的是 vr 。然而距今已经过了 30 年,我们不能还认为元宇宙仅仅是 vr ,需要与时俱进,所以,我给元宇宙做了一个定义。
这是我本人之前给的一个定义(见下图),也是目前在 ieee 的很多网站上被用到的一个定义,定义的来源还有一定的渊源。在 2018 年的时候,当时我跟 steve mann(可穿戴之父)、tom furness (虚拟现实之父),我们一起写了一篇文章叫做 《all reality: virtual, augmented, mixed (x), mediated (x,y), and multimediated reality》,试图把各种 reality 都总结到一起,用一张坐标系的图来表达。但是后来我觉得要删繁就简。由于我比较信奉大哲学家 george berkeley 在几百年前说的一句话“存在就是被感知”,所以基于“存在就是被感知”,我做了一个对元宇宙的定义。这个定义也被很多人认可。元宇宙本身是一种体验,它之所以叫做元宇宙,实际上是一种建立在数字技术之上的宇宙,外界被用户感知为是一个数字化的宇宙。这个宇宙有三种方式或三种可能性。一种是与我们当下的宇宙不同的宇宙,跟虚拟现实密切相关;一种是我们当下的宇宙的数字扩展,即增强现实;一种是我们当下的宇宙的数字对应物或数字副本,也就是所谓的数字孪生。所以从这个定义来讲,元宇宙有三种:虚拟现实的、增强现实的和数字孪生的。
02 元宇宙是下一件大事
但是确实有很多人讲元宇宙的时候会从 web 的角度去讲,从 internet 的角度去讲,包括1月份的时候,我们把互联网之父蒂姆·伯纳斯·李(tim berners-lee)请到达沃斯做的一个关于下一代 web 的分享。所以,我猜测大家都同意,关于元宇宙,可能最大的共识就是元宇宙是下一件大事,甚至我个人认为是下一件最大的事。为了对元宇宙有一个更兼容并蓄的定义,我画了一张很奇特的图,希望能够更加的包容,更加的 inclusive。如果不能够让所有的人都高兴,至少让所有的人都同等的不高兴。所以这张图就表示元宇宙至少有两个不同的视角。
其中一个视角是体验的视角。从体验的角度而言,元宇宙有三种体验,或者它是一个不同的数字宇宙,比如我们设想的虚拟现实,或者它是我们当下宇宙的数字扩展也就是增强现实,亦或者它是我们当下宇宙的数字副本也就是数字孪生。
另一个视角就是功能性的视角。我们经常讲元宇宙是下一代互联网,这其实不是一个定义,而是一个功能性的描述。因为你去同一个不知道元宇宙是什么的人讲,元宇宙是下一代web,即便他听了这句话,他仍然不知道元宇宙是什么。所以我认为元宇宙是下一代互联网这句话,它是一个功能性的描述。从功能性的角度来讲,对元宇宙也有三种主流的层层递进的看法。就是说元宇宙是下一代的 web。注意,图中我用的是 “web 3. 0” 而不是 “web3”,两者是不同的概念。web 3. 0 比较中性,不同的人对下一代 web 有着不同的看法。有的人认为 web 3. 0 是去中心化的 web,有的人认为是语义的 web,还有的人认为是 3d 的 web 等等。所以 web 3. 0 本身顾名思义就是 web 2. 0 的下一代。但是 web3 是以太坊联合创始人 gavin wood 发明的,特指去中心化的下一代 web。所以我用 “web 3. 0” 这个词会比 “web3” 更加的兼容并包。当然大家都知道 web 其实只是互联网的一部分,所以还有一种大家也比较接受的说法,元宇宙会是下一代互联网。更进一步来说,元宇宙会是数字化转型的下一个阶段。
03 元宇宙是数字化转型的 5. 0 阶段
关于数字化转型,我做了一个划分。我认为元宇宙是数字化转型的 5. 0 阶段。
为什么是 5. 0 呢?我们先来看前四个阶段,数字化的1.0 是从我们有了自动化,有了计算机之后开始的。当年各个高校之所以有自动化这个专业,都是因为我们有了计算机,有了电脑之后才开始的。以前我们讲办公自动化、工业自动化等等,就是用计算机来做一些自动化的事情。
数字化的 2. 0 实际上是伴随着互联网的崛起。就是我们讲的互联化,一是有桌面互联网,在国内比较喜欢叫 pc 互联网,但是国外一般叫做 desktop internet 会多一些,我觉得 desktop 可能更严谨一点,因为你要严格来讲,手机也是一台 pc,所以数字化的 2. 0包括桌面互联网、移动互联网和物联网这几个阶段。
数字化的 3. 0 我把它定义为个性化,实际上对应的就是 web 2.0。为什么我把 web 2.0 定义为个性化?其实这里我有一个和网络上广泛流传的观点(web1.0是只读, web2.0是可读可写的),持不同的看法。 实际上,web 从诞生的第一天起就有像 mud 这样文字性的游戏,像 bbs 这样的应用,这些都是可读可写的。所以 web 从来不存在一个只读的阶段,从它诞生的第一天起,web 就是可读可写的。那么 web 2. 0 到底指的是什么?经历过 web 2. 0 的人应该还记得,web 2. 0当时主要指的是 ugc,但是只有 ugc 还是不够的。因为如果产生了海量的 ugc 内容,但是却没有个性化推荐的话,绝大部分的内容是不可能被用户所消费的,也就不可能被用户所看到。所以,web 2. 0 的关键在于既有海量的 ugc 内容,又有个性化推荐。所以其实数字化的 3. 0 是体现在个性化推荐上。
数字化的 4. 0 就是智能化,也就是现在最为火爆的ai与产业的结合。随着人工智能的崛起,在各行各业都能够看到越来越多 ai 的工程化应用,包括近年来尤其火爆的 aigc 。我们认为 ai 将从 aigc 发展到 aigs ,也就是从 ai 产生内容发展到 ai 直接产生服务。
数字化的 5. 0 阶段,我把它定义为现实化,也就是元宇宙。因为从 1.0 阶段到 4.0 阶段,通过以往技术的积累,终于我们可以开始创造新的现实,开始创造新的宇宙。尽管是数字化的现实和数字化的宇宙,但是我觉得这是最具有革命性的。所以,数字化的 5. 0 就是现实化或者元宇宙的阶段。
同时大家可能注意到这五个阶段,我没有把它们画成一个接着一个顺序递进的形式,而是画成并行的。因为在不同的行业里,不同的数字化都还在发生,有先有后。尽管现在我们已经开始进入元宇宙的阶段,但是智能化、个性化仍然在很多行业里进一步的深入,以 aigc 为例,智能化又到了一个新的程度。所以它们更多是齐头并进、相互并行的关系。在不同的行业里,它们发展的成熟程度是存在一定差异的。”
04 扩展元宇宙:xv
在去年 11 月份,我跟 steve mann(可穿戴之父),共同提出了一个概念,叫做 xv。为了强调元宇宙对于人类的意识和人性的影响,我们创造了 xv 这么一个概念,它包括xr、xi、xe、xb 和 xs。xi 是 ieee 提出的一个概念,即扩展智能;xb 即 extended being,包括数字孪生体也是其中一种;xe 即扩展经济;xs 即扩展社会。我们把这五个元素结合到一起,用来概括元宇宙的整个范畴。同时我们希望特别强调它对于人类意识和人性的影响。
同时,我们(steve mann, yu yuan, tom furness, joseph paradiso, and thomas coughlin)用一个三维坐标系,把 vr、ar、xr 等元宇宙相关概念进行了梳理,并在去年 12 月份的时候共同发表了一篇论文(https://arxiv.org/pdf/2212.07960.pdf),大家感兴趣可以去看一看。
05 元宇宙技术概况
这里和大家分享一下我关于元宇宙技术的认识。大家现在普遍认为元宇宙是人类的数字技术的集大成者,但是我觉得还是要分一下主次。因为如果说所有的技术都是元宇宙技术,那就等同于什么都是元宇宙或者说元宇宙等于人类的整个 ict 行业,这样既没有发力点,也没有重点。所以我比较倾向于把元宇宙技术分成支撑技术和核心技术。
支撑技术大概有五大类,就是算力、存储、通信、数据和智能。其中智能主要指的是算法,一般而言,人工智能的三要素是算力、算法和数据,而这里的智能主要是指人工智能和机器学习的算法。
在支撑技术之上,就是元宇宙的核心技术,我把它归纳为三类或两类半。其中,一类是感知与交互的技术(包括虚拟的、现实的感知与交互),它的底层由各种传感器和制动器(包括虚拟的和真实的)组成。通过传感器或制动器往上反馈到三类不同的接口(脑机接口、体机接口和编程接口),并将分别服务于上面的三类不同的对象。这三类对象,一类是人类或者动物,一类是 npc(非玩家角色)或者 ai ,一类是机器。如果从狭义的角度来讲,现在 xr 所做的事,都归类于感知与交互,即对应图中左边红色的框。
中间蓝色的框,也就是持久的虚拟世界。为什么我要在virtual worlds 前加上 “persistent” 呢?我认为元宇宙的一个核心特征就是持久,所以创造了一个词叫“persistent computing”,用于描述用来建造和升级“持久的虚拟世界”的一系列技术。这系列技术的最底层是各种引擎,包括物理引擎、图像引擎、声音引擎以及智能引擎等等。往上一层即所谓的各种建模或者设计的技术,这些设计的技术包括pgc(专业生产内容)、ugc(用户生产内容)、ai pgc(ai辅助专业生产内容)、ai ugc(ai辅助用户生产内容)、aigc(人工智能生成内容),当然还有 dtgc(数字孪生生产内容)等几种产生数字内容的方式。再往上,我们就可以产生虚拟的地图、虚拟的场景、虚拟的对象和虚拟的角色。
第三个框,数字金融与经济。元宇宙里的数字金融与经济主要是基于数字资产。数字资产包括虚拟的资产和 ip 等。这些虚拟资产的交易,既可以建立在去中心化系统之上,也可以建立在中心化系统之上。例如:我们知道 roblox 和 second life 里的虚拟资产都是可以交易的,但是它们都没有采用去中心化的架构,而都是纯粹中心化的架构。去中心化系统通常建立在区块链之上,但是区块链并不是唯一的去中心化技术。
06 通往元宇宙所面临的挑战
在通往元宇宙的道路上,我们仍然需要克服诸多的挑战。
首先,我认为一个重大的挑战就是虚拟的感知与交互。其中,最关键的就是如何实现全面、超逼真的虚拟感官和动作?例如,我们希望在元宇宙中不仅可以模拟啤酒的外观、气味和味道,还可以模拟饮酒后产生的多巴胺和快感。
现阶段的vr技术只能模拟啤酒的外观,而难以模拟它的味道和气味,或者只能到达很初级的水平。即使我们能够模拟它的色香味,也模拟不了饮酒后产生的多巴胺和快感。模拟不了,那怎么办呢?凯发app的解决方案如下图所示:
首先,我们看这张图上有两个界面,一个是红色的虚线,一个是绿色的虚线。红色虚线左边代表大脑意识;红色虚线与绿色虚线之间代表人的感官;绿色虚线的右边代表人体感官之外的输入信号。
目前所有的 xr 技术,对视觉和听觉实现得比较好。为什么视觉和听觉实现得比较好?究其原因是因为我们已经找到了视觉和听觉的输入信号的基本元素。通过基本元素的叠加产生不同的输入信号,再通过 vr 或 ar 呈现出不同的视觉和听觉体验。但是现在还没有任何一项研究成果能够表明触觉的基本元素是什么。同样,嗅觉和味觉也比我们想象的要复杂。味觉不仅仅是酸甜苦辣咸,还有更多更复杂的感觉,而嗅觉据说也有几百万种之多。
我们试图通过数字手套和给 vr 头显添加外设等方式来模拟人的触觉和嗅觉。可即使能够通过这些外设将无感知的信号模拟出人的各种感官体验,但仍然无法模拟多巴胺所产生的快感。倘若我们希望在元宇宙里完全复刻人在真实世界里的体验,根据第一性原理,其终极解决之道就是在意识和感官之间,通过脑机接口输入脑电信号的方式来实现。之前我也在一些访谈中讲过,现在的基于光学的 vr 方案,确实具有一段生命周期,但是我认为它是不得不走的弯路,最终的解决之道还应该是由脑机接口来替代所有的虚拟的输入和输出。
另一个重大挑战是如何构建持久的、大规模的、细粒度的、物理上自洽的虚拟世界?例如,如何实现虚拟世界中的一个湖泊,不仅可以像水一样闪烁,而且还可以如此细腻,以至于每个虚拟水分子都符合物理定律。无论是在湖上划船、跳入湖中游泳,还是捧一把水洗脸,虚拟的水与其他虚拟物体的相互作用都可以完全符合流体力学等物理定律,甚至物理学家也找不到任何瑕疵来告诉你这是一个虚拟世界。
对于这方面的技术挑战,我们看到也有一些技术团队在朝这个方向努力。归根结底,虚拟实现不仅仅要实现物体的渲染,还要符合物理世界的规律。尽管我们说 second life 是第一个元宇宙的雏形,但是它其实很好地贯彻了这个方针,它里面的各种虚拟物品都是由一些基本的构件搭建而成。minecraft(我的世界)也是一个很好的例子,它里面所有的东西都是靠基本构件搭建起来的。所以这个方向我们认为随着算力和建模的进步,能够比较快的看到曙光。
因为前面我们讲到还有一类元宇宙,就是 ar 型的元宇宙,即当前宇宙的数字扩展(增强现实)。从 ar 的角度来讲,这类元宇宙所面临的重大的挑战就是虚拟物体和真实世界的交互。下图是电影《银翼杀手2049》的一幅剧照。画面中的美女是一个 ar 角色,她通过一些全息的手段,让男主角能够看见她。但是从原理上而言,男主角显然是无法触碰到她的。ar 本身有它的局限性,它不可能做到所有的虚拟对象都跟真实世界去完全的融合。
所以凯发app的解决方案是什么呢?凯发app的解决方案我认为有三个部分组成。第一部分就是显示(display),为了达成终极的 ar,从显示的角度要能够做到无缝的品质,而现在这方面主要是靠光场、神经辐射场(neural radiance fields) 这类技术来使得虚拟对象能够在人佩戴上 ar 眼镜之后看上去无法分辨它是一个真实的还是虚拟的。在nerf技术方面,包括像加州大学伯克利分校的matthew tancik、谷歌研究院jonathan t. barron等等这些研究机构都在朝这个方向努力,我认为会比较快地看到曙光。第二部分就是互操作性(interoperability),即表示虚拟对象如何与真实世界的交互。举一个简单的例子,如何通过虚拟遥控器去操作真实世界的家电等等。第三部分即内容(content),从内容设计的角度,要做到与真实世界无缝的集成,避免产生 bug 或者导致体验出戏的一些设计。
对于上述三个方向,以我个人的理解,对元宇宙的发展路线做了一些预测。
从感知与交互方面,今天我们通过脑机接口可以做一些简单的动作,例如:你可以仅凭思考,通过脑机接口就能够完成打字或者操纵一个玩具小车。而到了2025 年左右,我们认为通过脑机接口,仅凭思考即可完成绝大部分的动作。但是最难的还是写入,即把外界信号输入大脑意识。我们认为这要到 2035 左右才能实现可读可写的脑机接口,并实现所有的信号输入和所有的感知。
从虚拟世界的角度,今天我们做到的是虚拟砖块的级别,从细粒度的角度,虚拟世界可以由虚拟砖块来构建。而随着建模技术和算力的进步,到了2024 年左右,我们能够做到虚拟沙尘的级别。我们希望到了2027年左右,我们能够做到虚拟基本粒子级别。其实现在已经有一些研究在探索我们怎么样能够在虚拟世界里去做量子物理的实验,也许在未来的几年内能够成为现实。
从ar的虚拟对象和真实世界的交互方面,今天我们做到的是通过虚拟开关去控制智能家居等一些简单的交互。那么接下来的一个突破可能在 2024 年左右发生,随着光场技术进一步的小型化,进一步的突破,能够做到虚拟物体在真实世界中的无缝显示。到 2026 年左右,我们希望能够做到虚拟对象和真实世界间的复杂交互。当然复杂交互的背后需要相当多的协议和标准,去保证它的互操作性。显然,预测未来比较容易被打脸,所以我引用一句名言:最好的预测未来的方式就是去创造未来。
07 元宇宙的标准
接下来,我们来讲一讲元宇宙的标准。从元宇宙的标准角度而言,下图是我所认为的元宇宙标准的生态。
首先,我们需要进行元宇宙的术语定义和分类分级。早些年,我们更多的谈到,标准是 market-driven,是被市场驱动的。近年来,随着越来越多的新兴技术的蓬勃发展,我们越来越多的看到,标准要走在技术之前。以自动驾驶技术为例,sae j3016 标准把自动驾驶划分成了level 0 到 level 5 六个级别,这样所有的人都可以对号入座。在人工智能领域也有类似的标准,包括像 ieee 出了人工智能7000系列的标准。越来越多的标准走在产业和技术成熟之前,有了明确的标准之后,行业从业人员就可以依据标准设定期望值和路线图,形成一个共同讨论的基础。所以,我认为元宇宙首当其冲的就是要把元宇宙的术语定义和分类分级的标准先制定出来,这样能够给产业去设立一个路线图。
从技术的角度而言,也需要各种的标准来规范,包括像互操作性、各种接口、各种媒体格式、各种功能,还有性能、安全、身份、隐私等等。
元宇宙还有一个特点就是它的沉浸式体验对于人的生理心理可能会有比较大的影响,所以元宇宙中的内容也需要标准去规范,包括内容的描述、内容的解析,以免产生一些负面的影响。同时,我们还要考虑元宇宙对社会产生的影响,包括社会伦理、esg、sdg等角度都需要有相应的标准来规范。最后,大家都公认的是元宇宙会对各行各业产生非常深远的影响,所以各行各业都会产生相应的应用,这些应用也需要相应的标准。
08 一个元宇宙 or 多个元宇宙?
最近一个比较具有争议性的话题是关于元宇宙的最终形态。最终是一个元宇宙还是多个元宇宙?
如果说最终我们只有一个元宇宙,这就涉及到一个问题:显然我们会有很多个不同的虚拟世界或者不同的虚拟宇宙,那应该把它们叫做什么呢?有的人说叫做verse,从英语角度来看,其实比较的牵强。而从技术角度观察,我个人得出的结论是最终我们会有很多的元宇宙,包括中心化的元宇宙和去中心化的元宇宙,当然这些元宇宙之间,有很多是能够互联互通的。对于这些互联互通的元宇宙,我把它叫做iom(internet of metaverses),可以叫做元宇宙联网或者元联网。同时,线下也有非常多的元宇宙,因为我们的想法不能太片面,认为所有的元宇宙都必须联网,或许有的元宇宙可以单独存在,不需要跟其他的元宇宙联网也可以发挥它的作用。
9 元宇宙的特征
关于元宇宙的特征,从标准的角度而言,我觉得至少需要分为三类,哪些是必备的特征,哪些是推荐有的特征,哪些是可选的特征,必备的特征和推荐有的特征应该写入标准。还有一个维度就是,哪些特征是内部的特征,哪些特征是外部的特征。所谓内部的特征就是指仅存在于元宇宙的内部,所谓外部的特征就是元宇宙的基础设施和设备的特征。
10 ieee在元宇宙方面的工作
关于 ieee 在元宇宙方面的工作,这里也做个简单的介绍。首先是 ieee metaverse congress 大会系列。这个系列的大会目前已经举办了9场,即将举办第10场,参会人数累计达到了9万多人。在世界范围内,ieee metaverse congress 已经形成了一个元宇宙大会的品牌,也具有一定的影响力。大家可以通过metaverse.ieee.org网站,了解 ieee metaverse congress 最新的活动进展。
其次是,ieee 的元宇宙标准委员会的相关工作。ieee 的元宇宙标准委员会前身是 ieee 虚拟现实和增强现实标准委员会后更名为 ieee 的元宇宙标准委员会。
此外,ieee 有许多元宇宙的标准和项目,例如:p2048(关于元宇宙术语定义与分级分类的标准)、p7016(关于元宇宙的伦理和生命周期)、p3812.1(关于元宇宙身份的框架)等等,这里就不一一列举,感兴趣的朋友可以到 ieee 的凯发app官网查询。
ieee正在筹备ieee-isto metaverse acceleration & sustainability association,希望能够持续推进和加速元宇宙的发展和落地。