2023年3月22日，来自uc伯克利的研究人员基于instruct-pix2pix，提出了一种使用文本指令编辑3d场景的方法——instruct-nerf2nerf。其工作原理是在优化底层场景的同时迭代编辑输入图像，从而形成一个遵循编辑指令的优化的三维场景。instruct-nerf2nerf的出现使得3d内容的自动化、智能化生产以及全民化、便捷化应用的可能性进一步提升，我们认为3d应用相关产业趋势值得关注。
abstract
摘要
instruct-nerf2nerf提出了使用文本指令编辑nerf场景的方法，实现了对3d场景的快速重建。相较于传统3d编辑，instruct-nerf2nerf的最大亮点在于将instruct-pix2pix同nerf（neural radiance field）结合起来，在提高3d场景编辑效率的同时，大幅减弱了不同视角下场景变换的割裂感和虚假感。
3d场景编辑的技术突破进一步完善了凯发app的底层技术支撑。instruct-nerf2nerf的出现使我们看到了低成本、低门槛、高质量的3d场景构建技术的可能。我们认为该技术作为构建元宇宙的基础设施，有望打破3d场景制作流程复杂的现状，从而满足元宇宙对于大量3d内容的刚性需求。
ai赋能下，3d内容生产实现增效降本，有望推动行业应用的发展。效率低、成本高是过往制约3d内容生产的核心问题。我们认为成本和应用门槛的下降，有望促进3d内容在游戏、电商、虚拟人、mr和xr等领域的持续渗透，逐步使得普通消费者可以直接参与到3d内容的创作和消费中。
技术进展不及预期，行业竞争加剧，商业化落地节奏不及预期。
instruct nerf-2-nerf简介
instruct-nerf2nerf是一种用文本指令编辑3d场景的算法。在这篇论文中，作者创新性地将instructpix2pix同nerf（neural radiance field）结合起来，在提高对3d场景编辑效率的同时，大幅减弱了场景变换的割裂感和虚假感。
instruct-nerf2nerf的基本思想是使用图像条件下的扩散模型instruct-pix2pix来迭代编辑输入图像，同时优化底层场景，从而形成遵循编辑指令的优化的三维场景。instruct-pix2pix作为生成模型，可以根据文本描述生成图像；工作原理是首先用随机噪声初始化图像，然后根据文本描述迭代更新图像；其对更新规则的设计旨在使图像与用户输入的文字描述的匹配度增加。
instruct-nerf2nerf具体实现步骤：首先，输入图像并经过训练视角下的场景渲染；其次，由instruct-pix2pix给定全局文本指令对其进行编辑；再次，训练数据集的原有图像被替换成编辑过的图像；最后，将多角度下的图像输入nerf训练得到神经辐射场模型，并渲染出任意视角下的清晰图像。这一过程将不断重复，直到完成所需的编辑。
instruct-nerf2nerf已经被证明可以有效地编辑各种3d场景，包括室内场景、室外场景，甚至是人脸。此外，它还可以用来为增强现实和虚拟现实应用创建虚拟世界。以下是instruct-nerf2nerf的一些使用案例：
► 虚拟现实和增强现实：instruct-nerf2nerf可用于为增强现实和虚拟现实应用创建虚拟世界。例如，instruct-nerf2nerf可以用来创建一个用户家中某个房间的虚拟世界，然后用户可以使用增强现实技术将虚拟世界中的物体投影到真实世界中。
► 三维建模：instruct-nerf2nerf可以用来创建物体或场景的三维模型。例如，用户可以使用instruct-nerf2nerf创建一个汽车的3d模型，然后可以用这个3d模型为用户的汽车创建一个虚拟展厅。
► 动画：instruct-nerf2nerf可以用来创建物体或场景的动画。例如，用户可以使用instruct-nerf2nerf创建一个球正在弹跳的动画，然后用户可以用这个动画来创建一个视频游戏。
► 艺术：instruct-nerf2nerf可以用来实现艺术体验，如绘画或雕塑。例如，用户可以用instruct-nerf2nerf创造一幅风景画，然后可以用这幅画创造一个虚拟现实体验。
图表1：通过输入文字，即可实现用自然语言修改3d模型
资料来源：instruct-nerf2nerf官方blog，中金公司研究部
什么是nerf？
nerf (neural radiance fields) 是一种新颖的ai技术，用于将2d图像合成高质量的3d场景。它的基本思想是将3d场景表示为一个连续的、可微分的函数，再由该函数将3d坐标映射到颜色和密度值。该函数使用神经网络建模，通过神经网络从不同视角捕捉场景的2d图像，并在这一数据集上进行训练从而实现对3d场景的重建。
nerf的关键创新在于使用辐射场来隐式表示场景，有别于传统三维重建将场景表示为网格等显式表达。辐射场是一个将3d点和观察方向映射到该点在该方向上发出的辐射（颜色和亮度）的函数。基于这一函数，nerf可以从任意视角生成高质量且逼真的3d场景图像。
训练nerf 模型需要从不同视角的场景中收集大量的2d图像。这些图像用于估计摄像机的位置，并使用结构从运动技术中提取深度信息。然后，所提取的深度信息用于生成训练数据，包括3d点和与之相应的rgb值。在输入这些数据后，该神经网络经过训练从而能够预测场景中任何3d点的辐射值。
在推断期间，nerf接收观察方向作为输入，并生成相应的场景图像。为了生成图像，nerf 需要先从摄像机位置向场景采样一组光线。对于每条光线，nerf使用神经网络估计沿光线的一组点的辐射值，然后将估计的辐射值沿着光线积分，从而计算相应像素在输出图像中的最终值。
nerf有许多潜在的应用领域，包括虚拟和增强现实、计算机图形学和机器人技术。例如，nerf可用于生成难以或不可能使用传统成像技术捕捉的场景的逼真图像，如具有复杂照明或遮挡的场景。此外，nerf也可以基于少量的2d图像集生成复杂的3d场景，从而在机器人技术和自主导航中有所应用。
英伟达的开源nerf技术
nvidia的instant-nerf是一个加速nerf训练和推理的开源库。它基于nerf的基本思想，使用深度神经网络对辐射场进行建模，并使用渐进式渲染技术生成高质量的3d场景。与传统nerf不同，instant-nerf使用fourier featurization技术，将位置和方向信息嵌入到神经网络的隐藏层中，从而显著减少了网络的参数数量和计算成本，实现了实时渲染效果。
instant-nerf的开源使得该算法可以广泛地应用于计算机图形学、增强现实和虚拟现实等领域。此外，instant-nerf 还支持对不同类型数据集进行训练和推理，由此提高其对各种应用场景的适用性。由于其高效和高质量的渲染结果，instant-nerf在游戏开发、影视制作和工业设计等领域均具有广泛的应用前景。
开源使得任何人都可以访问并使用instant-nerf。英伟达的instant-nerf是非商用的，使用的是nvidia source code license-nc。开放的开发模式下，研究人员和开发人员可以依据自身需求，自由地修改和扩展instant-nerf，从而促进了nerf技术的发展和普及，使更多人能够受益于这项重要的技术进步。
图表2：英伟达开源的instant-nerf只需要几张照片便可以构建出3d场景
资料来源：nidia tech blog，中金公司研究部
图表3：instant-nerf算法以3d方式重现andy warhol公布拍立得相片的经典时刻
资料来源：英伟达凯发app官网，中金公司研究部
什么是instruct-pix2pix?
instruct-pix2pix是一个有条件的文本引导扩散模型，可以根据人类的自然语言指令来编辑图像。在用户给定输入图像和编辑图像的自然语言指令后，instruct-pix2pix通过直接在前向传播中执行图像编辑，便可以快速生成编辑后的图像。
图表4：用instruct-pix2pix 以自然语言修改图片：在湖面上加上船，或者将群山换为城市
资料来源：instruct-pix2pix 官方blog，中金公司研究部
图表5：用instruct-pix2pix 以自然语言修改图片：将人类换成机器人
资料来源：instruct-pix2pix 官方blog，中金公司研究部
为生成训练所需的数据集，instruct-pix2pix的作者结合了大型语言模型（gpt-3）和文本到图像模型（stable diffusion）两个模型。首先，作者使用gpt-3生成文本三联体：(a)描述图像的标题；(b)编辑指令；(c)描述编辑后的图像的标题。其次，他们使用stable diffusion和prompt-to-prompt将成对的标题（编辑前/编辑后）转为成对的图像。最后，基于海量的配对数据，作者对stable diffusion model进行训练，并做以微调，从而诞生出instruct-pix2pix。
instruct-pix2pix拥有泛化能力，能够对任何图片根据自然语言描述进行修改。相较sdedit、text2live等过往模型，instruct pix2pix经其作者比较，在图像编辑过程中对图像主体的保留程度以及编辑效果均有明显优势。此外，instruct-pix2pix对于512x512像素的图片，修改时间不超过10秒，生成速度尚可。
instruct-nerf2nerf模型的局限性
instruct-nerf2nerf为将nerf与instruct-pix2pix结合所产生的模型，因此延续了instruct-pix2pix的诸多局限：不能更改视角或空间布局；不能对图片做太大的变换；难以单独分离物体。
本文摘自：2023年4月13日已经发布的《中金前沿论文导读：元宇宙复兴的信号？instruct-nerf2nerf & pix2pix三维领航》