admin 管理员组文章数量: 1086019
Arxiv 2022｜NoPe
点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
作者丨泡泡机器人
来源丨 泡泡机器人SLAM
点击进入—>3D视觉工坊学习交流群
标题：NoPe-NeRF: Optimising Neural Radiance Field with No Pose Prior
作者: Lu Jie, Zhi Jin, Jinping Wang, Letian Zhang and Xiaojun TanWenjing Bian, Zirui Wang, Kejie Li, Jiawang Bian, Victor Adrian Prisacariu
单位：Active Vision Lab, University of Oxford
来源：arxiv2022
编译：张海晗
审核: zhh
大家好，今天我们要介绍的文章是来自牛津大学的NoPe-NeRF：优化无位姿先验的神经辐射场。
摘要
在没有预先计算的摄像机位置的情况下训练神经辐射场（NeRF）是很有挑战性的。这一方向的最新进展表明，在朝向前方的场景中，有可能联合优化神经辐射场和摄像机的位置。然而，这些方法在剧烈的相机运动中仍然面临困难。我们通过纳入不失真的单眼深度先验来解决这一挑战性问题。这些先验是在训练过程中通过校正比例和位移参数产生的，然后我们能够用它来约束连续帧之间的相对姿势。这种约束是通过我们提出的新型损失函数实现的。在真实的室内和室外场景中的实验表明，我们的方法可以处理具有挑战性的相机轨迹，并且在新的视图渲染质量和姿势估计精度方面优于现有的方法。
主要贡献
综上所述，我们提出了一种方法来联合优化摄像机的姿势和来自具有大量摄像机运动的图像序列的NeRF。我们的系统是由三个方面的贡献促成的。
首先，我们提出了一种新的方法，通过明确地模拟比例和位移失真，将单深度整合到无姿势的NeRF训练中。
第二，我们通过使用未扭曲的单深度地图的帧间损失，为摄像机-NeRF联合优化提供相对位置。
第三，我们通过一个基于深度的表面渲染损失来进一步规范我们的相对姿势估计。
主要方法：
我们解决了在无位姿先验的NeRF训练中处理大型相机运动的挑战。考虑到图像序列、相机的内参和它们的单目深度估计，我们的方法可以恢复相机的位置并同时优化NeRF。我们假设在图像元块中可以得到相机的内参，并且我们运行一个现成的单目深度网络DPT来获得单目深度估计。在不重复单目深度的优势的情况下，我们围绕着将单眼深度有效地整合到非posed-NeRF训练中来展开。
未失真的深度图反过来有效地调解了形状-辐射的模糊性，从而简化了NeRF和相机位姿的训练。具体来说，未失真的深度图可以实现两个约束。我们通过提供相邻图像之间的相对姿态来约束全局姿态的估计。这是通过两个点云之间基于Chamfer-Distance的对应关系来实现的，这个对应关系是由未失真的深度图反推出来的。此外，我们用基于表面的测光一致性来规范相对姿势的估计，我们将未失真的深度视为表面。
1. 位姿和NeRF的联合优化：
在这里，NeRF的渲染方程为：
关键在于调节相机射线在可变相机参数Π上的投射，因为摄像机射线r是摄像机姿态的一个函数。在数学上，这种联合优化可以表述为：
其中Π表示在优化期间更新的相机参数。
2. 单目深度的失真矫正
具体来说，我们为每个单深度图考虑两个线性转换参数，从而得到所有帧的转换参数序列Ψ = {(αi , βi) | i = 0 . . . N −1}，其中αi和βi表示刻度和位移因子。利用NeRF中的多视图一致约束，我们的目标是恢复Di的多视图一致深度图D * i。
NeRF渲染的深度损失损失可以表示为：
3. 相对位姿约束
点云损失约束：
基于表面的光度约束：
虽然点云损失Lpc在3D-3D匹配方面提供了监督，但我们观察到，基于表面的光度测量误差可以缓解不正确的匹配。在测光一致性的假设下，这种测光误差惩罚了关联像素之间的外观差异。关联是通过将点云P∗i投影到图像Ii和Ij上建立的。
最终的损失函数为：
整个系统的优化问题可以定义为：
主要结果：
本文仅做学术分享，如有侵权，请联系删文。
点击进入—>3D视觉工坊学习交流群
干货下载与学习
后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域精品课程
3D视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
3.国内首个面向工业级实战的点云处理课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
8.从零搭建一套结构光3D重建系统[理论+源码+实践]
9.单目深度估计方法：算法梳理与代码实现
10.自动驾驶中的深度学习模型部署实战
11.相机模型与标定(单目+双目+鱼眼）
12.重磅！四旋翼飞行器：算法与实战
13.ROS2从入门到精通：理论与实战
14.国内首个3D缺陷检测教程：理论、源码与实战
15.基于Open3D的点云处理入门与实战教程
16.透彻理解视觉ORB-SLAM3：理论基础+代码解析+算法改进
17.机械臂抓取从入门到实战
重磅！粉丝学习交流群已成立
交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。
扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿，微信号：dddvisiona
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看，3天内无条件退款
高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
本文标签： Arxiv 2022｜NoPe
版权声明：本文标题：Arxiv 2022｜NoPe 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1687942985a160312.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论