随手拍照片就能VR云旅游几张照片复原3D世界
你随便用手机拍了几张家里的照片,没有精确的相机位置,甚至照片之间重叠都很少。
现在,一个新算法能把这些零散的2D图片,“拼”成一个厘米级精度的3D数字模型,效果好到可以直接放进VR头显里“云旅游”。
在许多实际场景中,图像间的重叠有限、拍摄角度跨度大,且往往缺乏准确的相机姿态信息。
传统NeRF虽能联合优化位姿和辐射场,但计算代价高、难以收敛;而NoPose类的feed-forward模型虽然高效,却只能处理极少张图片,无法泛化到大规模场景。
这就引出了一个核心矛盾:基于优化的方法不够鲁棒,前馈式的方法不够灵活。
那么能否鱼与熊掌兼得?来自香港科技大学(广州)的一项研究工作RegGS,通过对局部3D高斯表示进行注册与融合,为这一挑战提供了新的解决方案。