在计算机视觉领域，多视角3D重建一直是一项极具挑战性的任务，尤其是在需要高精度和可扩展性的场景中。传统方法如DUSt3R采用成对处理的方式，虽然在一定程度上能够实现重建，但其复杂的全局对齐程序不仅耗时，还增加了计算负担。为了解决这一问题，研究团队提出了Fast3R，这是一种创新的多视角重建技术，能够在一次前向传播中处理多达1500张图片，显着提升了重建效率。
Fast3R的核心在于其基于Transformer的架构，该架构能够并行处理多张视图信息，从而避免了传统方法中繁琐的迭代对齐过程。通过大量实验验证，Fast3R在相机位姿估计和3D重建任务中表现出色，不仅大幅提高了推理速度，还减少了误差积累，使其成为多视角应用中的一种高效替代方案。
在Fast3R的实现过程中，研究团队采用了一系列先进的大规模模型训练和推理技术，确保了其高效且可扩展的处理能力。这些技术包括FlashAttention2.0，用于内存高效的注意力计算；DeepSpeed ZeRO-2，用于优化分布式训练；位置嵌入插值，便于短期训练和长期测试；以及张量并行，加速多GPU推理。
在计算效率方面，Fast3R在单张A100 GPU上表现尤为突出，相比DUSt3R具有显着优势。例如，在处理32张分辨率为512×384的图像时，Fast3R仅需0.509秒，而DUSt3R则需要129秒，并且在处理48张图像时便面临内存溢出的问题。 Fast3R不仅在时间和内存消耗上表现优异，还在模型和数据规模方面展现出良好的扩展性，预示着其在大规模3D重建中的广泛应用前景。
项目入口:https://fast3r-3d.github.io/
划重点:
Fast3R技术可以在一次前向传播中处理多达1500张图片，大幅提高3D重建速度。
Fast3R的Transformer架构支持并行处理，省去传统方法的复杂对齐过程。
与DUSt3R相比，Fast3R在时间和内存使用上展现出显着优势，适用于大规模3D重建应用。