（说明：如果您认为下面的文章对您有帮助，请您花费一秒时间点击一下最底部的广告以此来激励本人创作，谢谢!!!）
摘要
我们提出了TensoRF ，一种 建模和 重建辐射场的新方法。与直接使用MLP 的NeRF 不同，我们将场景的辐射场建模为4D 张量，表示为具有每体素多通道特征的3D 体素网格。我们的中心思想是将4D 场景张量分解为 多个紧凑的低秩张量分量。我们证明，在我们的框架中应用传统的CP 分解——将张量分解为具有紧凑向量的秩分量——可以改善vanilla NeRF 。为了进一步提高性能，我们引入了一种新的 向量矩阵（VM ）分解，它释放张量两种模式的低秩约束，并将张量分解为紧凑的向量和矩阵因子。除了获得较好的渲染质量之外，与直接优化每体素特征的先前和并行工作相比，我们的CP 和VM 分解模型的内存占用显著降低。实验证明，与NeRF 相比，具有CP 分解的TensoRF 实现了快速重建（
系统框架
左图：我们使用一组向量（v ）和矩阵（M ）将场景建模为张量辐射场，这些向量和矩阵描述了场景外观和沿其相应轴的几何体。这些矢量/矩阵因子用于通过矢量矩阵外积计算体积密度σ和与视图相关的RGB 颜色，以实现真实的体积渲染。右图：与之前和并行方法相比，我们的TensoRF 模型可以实现最佳渲染质量，是唯一可以同时实现快速重建和高紧凑性的方法。（我们的模型用分解技术、组件数量和训练步骤表示。）
张量分解。左图：CP 分解（等式1 ），它将张量分解为向量外积的和。右图：我们的向量矩阵分解（方程3 ），它将张量分解为向量矩阵外积的和。
TensorRF （VM ）重建和渲染。我们使用一组向量（v ）和矩阵（M ）将 辐射场建模为张量，这些向量和矩阵沿其相应的（XYZ ）轴描述场景，并用于计算可微分光线行进中的体积密度σ和视相关颜色c 。对于每个着色位置x=（x ，y ，z ），我们使用来自向量/矩阵因子的线性/双线性采样值来有效计算张量分量的相应三线性插值（A （x ））。将密度分量值（A σ（x ））相加，直接得到体积密度（σ）。外观值（Ac （x ））被连接到一个向量中(⊕[Am c （x ）]m ），然后将其与外观矩阵B 相乘并发送到解码函数S 用于RGB 颜色（c ）回归。
实验结果
我们在三个数据集上比较了我们的方法与先前和并发的新视图合成方法。基线方法的所有分数都直接取自他们的论文。我们还报告了合成NeRF 数据集的平均重建时间和模型大小。NVSF 需要8 个GPU 进行优化（用星号标记），而其他则在单个GPU 上运行。DVGO 的30k 步对应于10k 的粗重建和20k 的精细重建。
我们的VM-192-30k 模型和比较方法（NeRF[24]、plenoxels[46]、DVGO[37]、NSVF[18]）在两个合成NeRF 场景上的定性结果。
结论
我们提出了一种用于高质量场景重建和渲染的新方法。我们提出了一种新的场景表示——TensoRF ，它利用张量分解技术将辐射场紧凑地建模为因子分解的低秩张量分量。虽然我们的框架适应了经典的张量分解技术（如CP ），但我们引入了一种新的向量矩阵分解，这导致更好的重建质量和更快的优化速度。我们的方法可以在每个场景不到30 分钟的时间内实现高效的辐射场重建，与需要更长训练时间（20+小时）的NeRF 相比，可以获得更好的渲染质量。此外，我们基于张量因子分解的方法实现了高紧凑性，导致内存占用小于75MB ，大大小于许多其他先前和并发的基于体素网格的方法。
更多内容请关注公众号：元宇宙MetaAI
欢迎朋友们投稿，投稿可添加微信：NewYear-2016
Original: https://blog.csdn.net/CSS360/article/details/126697296
Author: 元宇宙MetaAI
Title: 计算机视觉与图形学-神经渲染专题-TensoRF
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/623215/
转载文章受原作者版权保护。转载请注明原作者出处！