0.这篇文章干了啥？

这篇文章提出了一个模块化的3D人脸重建基准工具包M3DFB，旨在解决当前3D人脸重建误差计算缺乏统一标准、现有基准工具缺乏灵活性和准确性的问题。该工具包将误差计算的基本步骤解耦，各步骤可独立配置和替换，便于评估每个步骤对误差计算的影响。文章提出了一种新的误差修正步骤ETC，通过优化二次问题解决稀疏线性系统，有效减少匹配地面真值网格中的间隙和裂缝，提高误差估计准确性。研究确定了评估基准的三个关键标准，即估计准确性、计算效率和一致性以及数据集泛化能力。通过在两个真实和两个合成数据集上对16种误差估计器和10种重建方法进行测试，发现广泛使用的基于ICP的估计器表现最差，显著改变了前5种重建方法的真实排名，其与真实误差的相关性低至0.41；基于非刚性对齐（如ELR）的估计器表现显著提升，相关性大于0.90，凸显了在数据集上标注3D地标的重要性；提出的ETC修正方案与非刚性变形相结合，在准确性上与最佳的基于非刚性ICP的估计器相当，但运行速度快一个数量级。文章指出当前研究的局限性在于无法确保跨拓扑实验的公平性，且ETC组件在未进行非刚性变形时效果不佳。未来可进一步探索更鲁棒的修正方法和跨拓扑误差评估策略。开源的M3DFB框架有助于研究人员比较不同误差估计器，推动3D人脸重建基准测试的发展，也为学习重建方法的有效训练提供支持。

下面一起来阅读一下这项工作~

原文：开源神器M3DFB！从0到1：用模块化工具包玩转3D人脸重建！

1. 论文信息

论文题目：3D Face Reconstruction Error Decomposed: A Modular Benchmark for Fair and Fast Method Evaluation

作者：Evangelos Sariyanidi, Claudio Ferrari, Federico Nocentini等

作者机构：The Children’s Hospital of Philadelphia, USA；Department of Architecture and Engineering, University of Parma, Italy等

论文链接：

2. 摘要

计算三维人脸重建的标准基准指标，即几何误差，需要多个步骤，如网格裁剪、刚性对齐或点对应。目前的基准工具是一体化的（它们实现了这些步骤的特定组合），尽管对于测量误差的最佳方法尚无共识。我们提出了一个用于模块化三维人脸重建基准（M3DFB）的工具包，其中误差计算的基本组件是分离且可互换的，允许量化每个组件的影响。此外，我们提出了一个新的组件，即校正，并提出一种计算效率高的方法，对网格拓扑不一致性进行惩罚。使用这个工具包，我们在两个真实数据集和两个合成数据集上，用10种重建方法测试了16种误差估计器。关键的是，广泛使用的基于迭代最近点（ICP）的估计器提供了最差的基准性能，因为它显著改变了前5种重建方法的真实排名。值得注意的是，ICP与真实误差的相关性可能低至0.41。此外，非刚性对齐带来了显著的改进（相关性大于0.90），凸显了在数据集上标注三维特征点的重要性。最后，所提出的校正方案与非刚性变形相结合，达到了与最佳的基于非刚性ICP的估计器相当的精度，但运行速度快了一个数量级。我们的开源代码库旨在让研究人员轻松比较每个组件的替代方案，从而有助于加速三维人脸重建基准的进展，此外，还支持改进基于学习的重建方法，这些方法依赖于准确的误差估计来进行有效训练。

3. 效果展示

重复点关联的示例。在显示的真实网格G中的红色点代表那些与R中的点多个关联的点的索引，这导致G中的一定数量的点最终未被匹配，从而造成点分布不均。

4. 主要贡献

一个模块化工具包，用于实现现有程序并轻松提出新的替代方案。

一个新的步骤，即校正，以及一种计算效率高的方案，该方案可实现与非刚性迭代最近点法（NICP）相当的误差估计。

利用框架的模块化特性，比较大量的基准程序，提供新的见解，突出良好实践并揭示局限性。

M3DFB的开源代码库可在获取，旨在促进3D人脸重建基准指标和程序的持续发展。

5. 基本原理是啥？

1. 提出模块化3D人脸重建基准工具包（M3DFB）

目前计算3D人脸重建标准基准指标（几何误差）需多个步骤，如网格裁剪、刚性对齐、点对应等，现有基准工具是整体式的，且对于最佳误差测量方式尚无共识。M3DFB将误差计算的基本组件分离且可互换，能量化每个组件的影响。

提出了新的组件“校正（correction）”，并给出了一种计算高效的方法，通过惩罚网格拓扑不一致性来改进误差估计。

2. 相关工作与动机

最广泛使用的测量重建误差的方法是通过ICP等进行刚性配准后计算平均点对点最近邻距离。不同基准采用不同策略，但对于哪种方法更可靠尚无定论。

现有研究表明NICP虽比简单刚性对齐更准确，但计算开销大，且之前的研究未全面研究误差计算管道的所有组件。

模块化工具包的动机是需要更准确和计算高效的几何误差估计器，且估计误差对误差计算流程中的所有组件敏感。该工具包便于系统比较所有可能的误差估计器，还新增了校正步骤。

3. 提出的框架（M3DFB）

网格裁剪（Mesh cropping）：从真实传感器获取的地面真值可能包含无关部分，通常通过消除距参考点（如鼻尖）超过预定距离的点来裁剪出面部或头部区域。

刚性注册（Rigid registration）：重建网格和地面真值通常在不同坐标系中，需进行刚性对齐，可通过ICP算法或基于稀疏地标点的刚性地标注册（RLR）实现，两种方法都包含在工具包中。

非刚性变形（Non - rigid warping）：刚性对齐后的网格可能存在显著不匹配，可通过非刚性对齐减少这种不匹配。常用的非刚性变形方法有NICP和弹性地标注册（ELR），工具包中包含NICP、ELR以及它们的组合（ELR + NICP）选项。

点对应（Point correspondence）：由于重建网格和地面真值的拓扑结构不同，需建立点对应关系，工具包中实现了基于Chamfer准则的点对应方法。

逐顶点距离计算（Per - vertex distance computation）：建立点对应后，可计算每个顶点的误差，工具包实现了点对点（P2P）距离和点到三角形（P2Tri）距离，实验中因比较相同拓扑的网格，主要报告P2P距离。

校正（Correction）：这是工具包中的新步骤，目的是在不计算新对应关系的情况下改进几何误差估计。通过强制（网格）拓扑一致性（ETC）来实现，通过求解二次优化问题计算校正项，可有效解决因不正确的重复对应导致的匹配网格中的间隙和断裂问题。

4. 评估基准的标准

估计准确性（Estimation accuracy）：基准最重要的方面是估计要忠实于真实误差，目前可通过使用具有固定和已知拓扑的合成生成网格来获取真实误差信息。

计算效率和一致性（Computational efficiency and consistency）：误差计算不应花费过多时间和资源，且可调参数应尽量少，以确保不同实现或运行的一致性。

数据集泛化性（Dataset generalization）：基准指标应具有通用性，不针对特定测试数据集，应适用于任何数据集。

5. 实验

实验设置

测试的误差估计器：考虑两种刚性注册（ICP、RLR）、四种非刚性变形（无、ELR、NICP、ELR + NICP）和两种校正选项（无、ETC）的所有可能组合，测试了16种误差估计器。

数据集：使用合成数据（基于BFM和FLAME生成）和两个真实数据集（Florence和BU4DFE）进行实验。

实现的重建方法：实现了基于BFM和FLAME的多种重建方法，包括多帧重建结果。

评估指标：通过计算合成数据上每个受试者的平均估计几何误差并与真实平均误差比较来衡量估计器的准确性，还计算不一致率和真实误差与估计误差的相关性。

实验结果

与合成数据上的真实误差比较：基于ICP和Chamfer对应关系的广泛使用的误差估计器E1表现最差，NICP的性能可通过初始化（如使用RLR进行刚性对齐或包含ELR变形）显著提高。ELR是最重要的组件，使用ELR时，BFM和FLAME方法的排名准确性显著提高。

在真实数据上的比较：标准方法E1人为压缩了比较方法的性能并改变了它们的排名，其他估计器能显示出方法之间的明显差异。

6. 局限性

真实误差的计算只能在重建和地面真值网格具有相同拓扑时进行，目前的比较是在相同拓扑内进行的，无法确保跨拓扑实验的公平性。

ETC组件通常只有在进行非刚性变形时才能改善结果，这意味着点对应关系的良好初始化对ETC有效工作是必要的，未来研究可探索更鲁棒的校正方法。

7. 讨论与结论

提出的模块化框架揭示了当前基准的关键局限性，分析了误差计算过程中每个步骤的影响。

基于ICP和Chamfer对应关系估计误差的广泛做法是不足的，NICP虽有改进但结果对初始化敏感。ELR后进行校正的方法是一种比基于NICP的误差估计更快的替代方法。

使用基于地标的非刚性变形能显著且一致地提高性能，建议收集带纹理扫描的数据以方便标注地标。

多个估计器显著优于标准方法（ICP + Chamfer），但尚无确凿证据表明哪个是最佳的，合理的策略是使用多个可靠的估计器。开源的M3DFB框架有助于不同研究小组比较结果，暴露现有基准指标的局限性，并促进新误差估计程序的实现和实验验证，还可为学习重建方法设计有效的损失函数。

8. 伦理声明

提出的模块化基准程序用于准确评估和公平比较3D人脸重建方法，研究使用的是公开数据集或合成生成的数据，不代表任何真实人物，且已收集必要的协议、数据保护策略和同意书，旨在提供评估重建方法准确性的公平工具。

仍存在一些潜在风险，如更准确的评估基准可能使恶意用户从图像中获取额外个人信息，但该方法本身也可作为一种风险缓解技术，用于比较3D人脸网格以避免假数据。

6. 实验结果

文章通过对16种误差估计器在两个真实和两个合成数据集上进行实验，得出以下实验结果：

1. 合成数据与真实误差对比

ICP表现最差：基于ICP和Chamfer对应关系的流行误差估计器E1表现最差，在BFM数据上，它错误地对前五种重建方法进行了排名，添加ETC校正（E2）也无法改善这一结果。

NICP需初始化：使用NICP并不一定能大幅提高性能，如估计器E5和E6错误地对前四种基于BFM的方法进行了排名。但当使用RLR进行刚性对齐或包含（非刚性）ELR变形时，NICP的排名一致性显著提高。

ELR效果显著：ELR是最关键的组件，使用ELR时，所有基于BFM的方法都能正确排名，基于FLAME的方法排名最多只有一个错误。不过，性能差距并非总能被准确估计。

相关性差异大：E1在关注前5种重建方法时相关性仅为0.41，而其他估计器至少达到0.91。当从对应于内脸的14k个点计算误差时，除E1外的所有估计器相关性至少为0.97。E12在基于FLAME的重建方法上的表现表明，其底层的ELR和ETC校正步骤对网格拓扑变化具有鲁棒性。

2. 真实数据对比

E1表现不佳：根据E1估计器，所有重建方法在两个真实数据集（Florence和BU4DFE）上的表现非常相似，而其他估计器则显示出方法之间的明显差异，这可能意味着E1人为地压缩了比较方法的性能并改变了它们的排名。

其他估计器较一致：其他估计器在预测产生最高和最小误差的重建方法上是一致的，但对于第二和第三好的方法之间的差异难以推断，特别是当使用具有23k个点的整个网格时。

7. 总结 & 未来工作

总结

本文提出了一个模块化的3D人脸重建误差估计框架（M3DFB），通过将误差计算的基本步骤解耦，揭示了当前基准测试的关键局限性，并分析了每个步骤的影响。主要贡献如下：

模块化工具包：可实现现有程序并轻松提出新的替代方案。

新步骤“校正”：提出了一种计算高效的方案，其误差估计效果与非刚性迭代最近点法（NICP）相当。

大量基准程序比较：利用框架的模块化特性，比较了大量基准程序，提供了新的见解，突出了良好的实践方法并揭示了局限性。

实验结果表明，广泛使用的基于迭代最近点法（ICP）和倒角对应法的误差估计器效果不佳，特别是在处理最佳重建方法时表现较差。虽然使用NICP可以提高性能，但结果对初始化敏感。相比之下，基于弹性地标注册（ELR）后进行校正的方法速度更快，且与基于NICP的误差估计效果相当。此外，基于地标的非刚性变形显著且持续地提高了性能。

未来与展望

目前没有确凿的证据表明哪种误差估计器是最好的，合理的策略是使用多种可靠的估计器，直到达成共识。开源的M3DFB框架将有助于不同研究小组更一致地比较结果，揭示现有基准指标的局限性，并促进新误差估计程序的实施和实验验证。此外，该框架还可用于为学习型重建方法设计有效的损失函数，以进行有效训练。未来研究可以探索更鲁棒的校正方法，以减少对初始化的依赖。

本文仅做学术分享，如有侵权，请联系删文。