OpenSVBRDF发布：材质界的ImageNet级别的大规模6维材质实拍数据库

知识点掌握了，还需要不断练习才能熟练运用。下面golang学习网给大家带来一个科技周边开发实战，手把手教大家学习《OpenSVBRDF发布：材质界的ImageNet级别的大规模6维材质实拍数据库》，在实现功能的过程中也带大家重新温习相关知识点，温故而知新，回头看看说不定又有不一样的感悟！

在计算图形学领域，材质的外观描述了真实物体与光线之间的复杂物理交互。这种描述通常被称为随空间位置变化的双向反射分布函数（Spatially-Varying Bidirectional Reflectance Distribution Function，缩写为 SVBRDF）。在视觉计算中，它是不可或缺的组成部分，并广泛应用于文化遗产、电子商务、电子游戏和视觉特效等领域

在过去的二十年中，特别是深度学习流行之后，学术界和工业界对于高精度、多样化数字材质外观的需求不断增加。然而，由于技术方面的挑战，采集大型数据库仍然是一项相当困难的任务，目前能够公开使用的材质外观实拍数据库数量非常有限

为此，浙江大学计算机辅助设计与图形系统全国重点实验室和杭州相芯科技有限公司的研究团队联合提出了一种新型集成系统，用于鲁棒、高质量和高效地采集平面各向异性材质外观。利用该系统，研究团队构建了 OpenSVBRDF 公开材质数据库。

以下是OpenSVBRDF数据库中一些材质样例的展示，如图1所示。每一行都属于同一种材质类别

这是第一个大规模 6 维 SVBRDF 的实测数据库，共有 1,000 个高质量平面样本，空间分辨率为 1,024×1,024，等效为超过 10 亿个实测 BRDF，涵盖了包括木材、织物和金属在内的 9 种类别。

数据库主页：https://opensvbrdf.github.io/

目前，数据库对非商业应用完全免费。只需在网站上提交基本信息申请账号，经过审核后，即可直接下载包括GGX纹理贴图在内的相关数据和代码。相关研究论文《OpenSVBRDF: 一个包含测量空间变化反射性的数据库》已被计算机图形学顶级国际会议ACM SIGGRAPH ASIA 2023（期刊论文）接收

请点击以下链接查看论文主页：https://svbrdf.github.io/

技术挑战

在不改变原意的情况下，需要重写的内容是：根据[Lawrence et al. 2006]，直接采样方法是在不同的光照和观察角度下对物理材质进行密集测量。尽管这种方法可以获得高质量且稳定的采集结果，但它的效率较低，需要大量的时间和存储成本。另一种选择是基于先验知识的重建方法，它可以从稀疏的采样数据中重建材质。虽然这种方法提高了效率，但当先验条件不满足时，重建的质量可能不如人意[Nam et al. 2018]。此外，尽管当前的光路复用技术达到了较高的采集效率和重建质量，但在处理高度复杂的材质，如拉丝金属和抛光木皮等方面，算法的鲁棒性还有待提高[Kang et al. 2018]

图 2：现有材质采集研究的代表工作。从左到右分别是 [Lawrence et al. 2006]，[Nam et al. 2018] 以及 [Kang et al. 2018]。其中 [Kang et al. 2018] 为该团队在 2018 年发表于 ACM SIGGRAPH 的早期工作。

硬件

为高效扫描材质外观，研究团队搭建了一个接近半立方体的近场光照多路复用设备，其尺寸约为 70cm×70cm×40cm。样本被放置在一块透明的亚克力板上，可以通过抽屉滑轨快速滑入 / 滑出，来实现高吞吐率。该设备由 2 台机器视觉相机和 16,384 个高亮度 LED 组成，两台相机分别从大约 90 度（主视角）和 45 度（次视角）的角度拍摄样本，LED 分布在设备的 6 个面上。自主研发的高性能控制电路负责对每个 LED 进行独立亮度控制，并在硬件层面实现了光源投射和相机曝光的高精度同步。

请看图3：采集设备的外观以及从两个不同角度拍摄的照片

采集重建

本系统独特地融合了目前流行的基于网络预测和基于微调的两种方法，以提高物理采集的效率。通过可微分光照图案的优化，同时通过微调进一步提升结果的质量。这是首次实现对平面SVBRDF高鲁棒性、高质量和高效率的采集和重建

具体而言，为了重建物理样本，研究人员首先通过在均匀照明下匹配密集的SIFT特征来建立两个相机视角之间的高精度对应关系。对于物理采集，首先将光照图案作为自编码器的一部分进行优化，以实现高效的采集。该自编码器会自动学习如何基于两个视角的测量值来重建复杂外观，并将结果表示为中间神经表达。随后，通过绘制图像误差对神经表达进行微调，以提高最终结果的质量和鲁棒性，这是根据主视角相机在63个等效线性光源下拍摄的照片来进行的。图3展示了整个系统的处理流程。详细信息请参阅原文论文

图 4：整个系统的采集重建流程。

结果

研究团队收集了外观数据，并共计采集了1,000个样本，共分为9个类别。为了更方便地使用基于物理标准绘制管线（PBR），该研究还将神经表达适配至业界标准的各向异性GGX BRDF模型参数。图5展示了材料重建结果的分项参数和属性。每个样本都包含193张原始HDR照片（总大小为15GB）、中间神经表达（290MB）以及6张贴图，其中包括表示GGX参数的纹理贴图和透明度贴图（总大小为55MB）。神经表达和纹理贴图的空间分辨率均为1,024×1,024

重写后的内容：图5：重建材质结果的分项属性（包括神经表达、漫反射率、高光反射率、粗糙度等）

为了证明重建结果的正确性，研究人员将主视角下的照片（下图第一行）和神经表达绘制结果（下图第二行）进行了比较。定量误差（以 SSIM/PSNR 表达）标注在绘制图片的底部。由下图结果可见，本系统实现了高质量材质重建（SSIM>=0.97, PSNR>=34db）。

图 6：实拍照片和神经表达绘制结果在主视角下的对比。

为了进一步证明重建结果的视角域泛化性，研究人员将点光源照射下、两个视角所拍摄的照片和使用 GGX 拟合参数绘制的结果进行了比较，验证了重建结果的跨视角正确性。

图片 7：比较实际拍摄照片和使用各向异性 GGX 拟合参数绘制的结果在两个视角下的对比

研究人员还展示了该数据库在材质生成、材质分类以及材质重建三方面的应用。具体细节请参考原始论文。

图8展示了利用OpenSVBRDF训练MaterialGAN来实现材质生成与插值的过程

图9展示了利用OpenSVBRDF训练主动光照以提升材质分类精度的过程

重写内容如下：图片10：使用OpenSVBRDF来提高基于单点采样（左）和光路多路复用（右）的BRDF重建质量

展望

研究人员将努力扩展现有数据库，增加展现多样性外观的材质样本。未来，他们还计划建立同时包含材质外观和几何形状的大规模高精度实测物体数据库。此外，研究人员将基于 OpenSVBRDF 设计在材质估计、分类和生成等方向上的公开 Benchmark，通过客观定量的标准测试，为推动相关研究的未来发展提供坚实的数据保障。

本篇关于《OpenSVBRDF发布：材质界的ImageNet级别的大规模6维材质实拍数据库》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于科技周边的相关知识，请关注golang学习网公众号！