近年来,b站上涌现出了越来越多的虚拟主播。统计数据显示,b站的虚拟主播快速增长,2022有23w名虚拟主播在b站开播,其中以个人虚拟主播为主。
这些个人虚拟主播,从本质上来说,是由“虚拟形象”和“中之人”两个部分构成的。在这个模式下,真实的表演者通过面部捕捉等先进技术,将自身的动态表情和动作同步到虚拟形象上,使其在直播过程中显得生动且真实。虚拟形象的表情和动作直接影响到观众的互动体验,因此,动作捕捉在这个过程中既是基础,也是决定直播成功与否的关键因素。
在传统的影视制作中,动作捕捉技术已经被广泛应用。例如,《阿凡达》和《指环王》等知名影片在特效制作和角色设计上都依赖了动作捕捉技术。这些传统的动作捕捉方式主要分为光学动作捕捉和惯性动作捕捉,它们都需要通过传感器来记录表演者的动作,因此往往需要片场人员配备大量设备。
然而,传统的穿戴设备进行动作捕捉有两个主要问题。首先,是成本高昂。便宜的设备至少需要几万,而更高级的设备甚至可能要花费数十万甚至数百万。其次,使用过程十分繁琐,通常需要多人团队进行操作和配合。
对此,云舶科技推出全球首款免费3d虚拟直播产品小k直播姬。视频动捕采用计算机视觉技术,用户无需佩戴任何设备,仅需一款入门级百元摄像头和英伟达 gtx 1060 或相同水平的电脑配置就能实现实时动作捕捉。
创新性科技企业打造全产业链aigc虚拟内容平台
云舶科技全称北京云舶在线科技有限公司,成立于2017年,是一家致力于打造全产业链aigc虚拟内容平台的创新性科技企业。公司总部在北京,并在广州、盐城设立有分公司。云舶科技核心团队拥有近20年的游戏和ai研发经验,业务覆盖技术,产品,运营等产业链上下游。公司拥有小k ai动捕、ai绘图、虚拟人引擎等核心技术,其中小k ai视频动捕引擎,无需穿戴任何硬件动捕设备,仅需普通rgb摄像头就可实时高精度捕捉人体,手指,面部等所有3d运动数据。
云舶科技核心团队拥有超过16年的游戏和ai研发经验,历时5年研发了小k视频动捕技术,无需穿戴任何硬件动捕设备,仅需普通rgb摄像头就可实时高精度捕捉人体,手指,面部等所有3d运动数据,让动作捕捉技术得以面向个人ugc化使用。
云舶科技已于2021年底发布了基于视频动捕的全球首款虚拟直播产品小k直播姬,小k直播姬采用自研小k 视频动捕引擎,内置高自由度 3d 捏人系统,并提供2d&3d资源导入。
是一家同时具有核心技术能力和虚拟内容能力的科技公司,得益于核心团队10多年游戏行业经验,公司将结合游戏化互动体验,不断开拓虚拟直播,虚拟互动等泛娱乐内容,打造全新的ugc虚拟互动社区。
云舶科技旗下还拥有视频捕捉动画制作平台小k网,平台注册动画师超2万,用户上传任意视频处理后即可下载bip和fbx文件,提升了动画师的动画制作效率。
云舶科技ceo梅嵩,哈尔滨理工大学计算机专业硕士学位,原蓝港互动(香港上市游戏公司)高级副总裁, 游戏制作人,执行董事。在2007年蓝港在线成立之初加入,全面负责公司social game产品的研发工作和游戏运营平台体系的研发工作,对于social game产品和网游运营体系有深入的了解。
云舶科技另一创始人、cto陈敏,武汉大学计算机专业硕士学位,原蓝港互动(香港上市游戏公司)cto; 18年游戏研发和人工智能研发经验,曾独立完成3d游戏引擎架构研发。
据梅嵩介绍,小k直播姬采用云舶科技历时4年自主研发的小k视频动捕技术,无需穿戴任何硬件动捕设备,仅需普通rgb 摄像头即可实时高精度捕捉身体,手指,表情等3d数据,相比传统硬件动捕方案极大降低了使用门槛,使3d动捕能够低成本ugc化。
梅嵩认为,高成本高门槛的pgc模式无法构建“人人皆可虚拟”的虚拟世界。而小k提供了高自由度的3d捏人用于创建用户虚拟形象(近200个自定义捏人维度),同时支持用户自定义美术素材和上传素材, 充分调动ugc的创作力量。
“小k视频动捕技术,无需穿戴任何硬件动捕设备,仅需普通rgb摄像头可实现身体,手指,表 情等高精度实时3d捕捉,颠覆了传统硬件动捕方案,是虚拟世界行为交互的关键性技术突破,让动捕技术从pgc走向ugc。” 梅嵩如是说。
人人都是动捕师:创新、免费、零门槛
云舶科技自主研发的基于普通摄像头的无穿戴ai视频动捕技术具备显著优势。它可以通过ai算法对视频中的人物进行精确的姿态捕捉,从而获取人体运动数据,包括肢体、手指和面部表情等全栈式三维数据。这是一项具有创新性的技术,已获得专利。
云舶科技的ai视频动捕技术无需使用硬件设备,只需通过普通的rgb摄像头和ai算法即可实时捕捉视频中人体的关键骨骼点。这是通过卷积神经网络(cnn)和特征提取器与姿势解码器的高级特征提取与检测来实现的。
简单来说,这项技术让计算机能够将人体视为一个木偶,识别超过100个关键点,这些关键点如同木偶的关节,点数越多,木偶的动作就越灵活生动。因此,使用小k直播姬的视频动捕技术,用户可以轻松摆出各种动作,甚至是指尖的微妙动作都能被准确捕捉。
此外,小k直播姬还具备捏人系统,允许用户创建自己的专属虚拟3d形象。同时,该平台还支持第三方模型导入,为主播们的形象打造提供了更多可能。市面上的商业化视频动捕技术面向c端用户的产品少之又少,且小k直播姬不仅完全免费,还大大降低了虚拟主播的门槛。因此,自公测开放仅三个月以来,小k直播姬已经吸引了超过两万名虚拟主播的注册。
可以说,“小k直播姬”为虚拟主播提供了零门槛的开播方式,加上小k直播姬独有弹幕礼物互动交互玩法,在帮助虚拟主播开播的同时,还帮助他们做到了真正意义上的降本增效。
未来世界的期待与努力
随着人工智能和图像技术的不断发展,虚拟主播正在成为直播行业的新趋势。在这个领域中,云舶科技一直走在前列。根据云舶科技合伙人张蔚爽介绍,今年云舶科技在小k ai绘图、小k ai 动画以及 ai 真人视频等技术上投入了大量研发,主要面向游戏、电商、娱乐直播三大领域。
在游戏领域,云舶科技的ai技术得到了广泛应用。张蔚爽以游戏行业举例,解释了ai技术如何帮助游戏公司降低成本并提高效率。“如今,大家玩的都是商业化较成熟的游戏,因为做创新产品试错成本非常高,如果把整个成本大幅降低,无论大公司亦或是独立开发公司也好,就要敢于尝试创新。小k ai绘图及 ai 动画就是要让大家把成本降低的同时还能得到高品质的效果。”
据悉,小k ai绘图能够为游戏公司降低美术制作成本,仅需要美术人员用文字输入想要游戏角色设定,就可以快速生成美术原画。同样,小k ai动画只需要动作师上传一段视频,经过平台处理就可以获得视频中相应fbx 和bip 3d动作数据,相比动画师纯手k,小k动捕能大幅提升动画师工作效率,节省70-80%的成本和时间。目前已经有超过10万用户在小k ai动画平台上注册并使用相关服务。
我们的观点
通过这些ai技术的应用,虚拟主播与用户之间的交互方式也变得更加人性化。这些技术的普及不仅为虚拟主播带来了更多可能性,也为直播行业注入了新的活力和创新。在这个趋势的推动下,相信云舶科技在未来会为更多用户带来更加智能、高效、人性化的直播体验。期待云舶科技对改变未来所作的努力。
“早在2014年 vr 元年我就在关注了这一领域,但貌似过了近10年并没有像 chatgpt 带给人们眼前一亮的革命性技术和产品,但我依然相信,会有一天我们看到不一样的世界,那就让我们在期待中努力。”——张蔚爽