智东西(公众号:zhidxcom)
作者 | 周炎
编辑 | 云鹏
智东西 7 月 27 日报道,刚刚,新壹科技发布了国内首款聚焦视频的大模型 " 新壹视频大模型 ",以及 aigc 视频生成平台 " 秒创视频创作平台 ",首款基于商用的数字人平台 " 新壹数字人平台 ",此外,还发布了国内首款明星数字人祝福视频制作产品 " 秒祝 "。
其中," 秒创视频创作平台 " 可以在用户创作内容的过程中提供 ai 生成服务,其中包括文字续写、文字转语音、文生图、图文转视频等,至此新壹科技的 ai 生成能力已覆盖文本、图像、音视频等内容模态。
新壹科技 ceo 雷涛称,ai 赋能视频生产,进一步降低了视频生产门槛,用户可以更方便快捷地生产更高质量的视频,这样更多人参与到视频创作中,视频行业的格局或将再度改变。
一、具备多模态感知、实时学习等核心能力," 秒创 " 几分钟内生成科普视频
新壹科技发布的新壹视频大模型,基于深度学习海量视频样本,具有从脚本生成、素材匹配、智能剪辑配音到数字人播报的 ai 全流程视频生产能力,有助于让用户实现高质量、高效率、低成本、无门槛视频创作。
▲新壹科技创始人、董事长韩坤发布会现场发表演讲
新壹视频大模型具备多模态感知、实时学习、自迭代及多场景交叉推理的核心能力。能够处理多模态的输入信息,可以理解文字的含义,识别图像的内容,感知音乐的情绪,基于对内容深度准确的理解,生成视频。
新壹视频大模型采用了自监督学习方案,会观察和学习大量的视频数据,通过分析视频的结构、内容、风格等多个维度,自我理解和把握视频制作的规则和逻辑。
新壹视频大模型能跨场景进行知识迁移与关联,选择合适素材,调整视频风格,生成满足创作者需求且质量高的视频;其可面向行业级的垂直场景对新壹视频大模型做定向训练,以提供更加精准、专业的服务。
秒创是基于新壹科技视频大模型的 ai 内容生成平台,该平台提供了图片生成、视频生成、声音生成、数字人生成等 aigc 功能,以及千万级的结构化视频库。通过秒创平台,创作者可以把一篇文章甚至是一个想法制作为视频,而且从文案到视频成品时间仅为 5 分钟。
▲新壹科技 ceo 雷涛发布会现场对相关产品进行演示讲解
二、24 小时完成数字人训练,3d 数字人未来将成为人人标配
新壹科技的数字人平台通过多模态合成 ai 技术,可以将真人录制的视频和音频素材生成 2d 写实数字人,同时该平台在 24 内小时可以完成一个数字人的训练。
该数字人平台融合通用语言模型、音视频生成技术,能够低成本的生成真人播报视频和直播,有助于降低真人出镜门槛。此外新壹数字人平台还可以驱动 3d 数字人形象。
新壹科技发布的最后一款应用为明星数字人祝福视频制作产品——秒祝。秒祝通过对明星视频进行训练,将明星的形象和声音还原出来,生成对应的明星数字人形象。最终呈现给客户的是以明星数字人为主角的个性化定制祝福视频。
结语:20 年视频行业积累经验,未来 aigc 业务将在垂直场景落地
在过去将近 20 年的时间里,新壹科技一直从事视频相关领域,并培养了一支代码技术过硬的工程师团队。
目前,新壹科技的 ai 生成能力已覆盖文本、图像、音视频等内容模态,已经实现从大模型到平台服务再到产品服务落地的 aigc 业务全链路打通。未来,新壹科技将推出政府政务、金融保险、适老养老、智能交互数字人以及游戏等垂直场景服务。