1.综述！鱼眼源码鱼眼用于自动驾驶的标定标定全景鱼眼感知：概述、调查和挑战
2.opencv去畸变的相机方法图像去畸变vs点畸变
3.基于Python实现相机标定正畸并生成鸟瞰图
4.小觅双目摄像头D1000-IR-120/Color模组评测(下)
5.鱼眼相机图像如何矫正?
6.AVM环视系统——鱼眼相机去畸变算法

综述！用于自动驾驶的鱼眼源码鱼眼全景鱼眼感知：概述、调查和挑战

       摘要：

       在自动驾驶的标定标定前沿领域，全景鱼眼摄像机扮演着至关重要的相机kdj tb源码角色，它们提供了°无死角的鱼眼源码鱼眼感知，尤其在近距任务中，标定标定如自动泊车。相机然而，鱼眼源码鱼眼数据集的标定标定局限性限制了更深入的研究，目标检测的相机高精度要求（精度达到厘米级）和大径向畸变带来的算法扩展挑战是亟待解决的问题。本文详尽探讨了鱼眼相机模型，鱼眼源码鱼眼如针孔、标定标定经典几何（如等距和Stereographic投影）、相机扩展正交和代数模型，如多项式模型，以及它们在目标检测中的复杂性和应对径向失真和目标形变的策略。

       全景视图系统由四只广角相机构成，对计算机视觉技术提出了严峻的挑战，特别是如何处理显著的鱼眼失真。研究重点围绕鱼眼摄像头的模型选择、精确标定以及当前领域的核心问题展开。

       论文深入剖析了各种鱼眼模型，从针孔模型的简单几何到DS模型的复杂建模，包括Brown-Conrady模型的变体，以及多项式模型在MATLAB和NVIDIA工具中的应用。这些模型的选择不仅考虑了径向畸变的纠正，如Division模型的扩展，还包括球形、视场和UCM/Enhanced UCM模型的探讨。

       标定鱼眼相机是一项关键任务，需要内外参数的精确匹配，通过特征检测和重投影误差的最小化。OpenCV和Kalibr等工具支持离线标定，而在线校准则依赖于车道标记或里程计信息，以应对摄像机姿态的变化。

       文章进一步深入讨论了鱼眼图像的特性，如空间关系和深度估计的挑战。FisheyeDet[]强调了模拟数据集的重要性，如失真版Pascal VOC[]，retrofit源码讲解以提升模型的准确性。SphereNet[]和FisheyeYOLO[]则探索了定向边界框和曲线bbox等表示法，以优化检测精度。此外，如何处理污垢检测和恢复也是研究热点，如DirtyGAN[]和Das等人[]的工作。

       深度估计在鱼眼和普通相机间存在差异，FisheyeDistanceNet[]在图像到3D曲面映射的研究中面临着独特挑战。在自动驾驶场景中，图像到深度的转换、视觉里程计、多摄像机测距技术、运动分割、目标跟踪以及SLAM技术，如FisheyeSuperpoint，都在文中有所涉及，并提出了多任务模型，如Sist等，以整合不同任务的处理能力。

       例如，u等人联合开发的MTL模型，集目标检测和语义分割于一体，利用共享编码器和解码器如YOLO v2和FCN8。Leang等人针对鱼眼摄像机任务的权重分配进行了深入研究。FisheyeMultiNet设计了实时多任务深度学习网络，专为自动泊车设计，速度可达fps，涵盖物体检测、语义分割和污垢检测。OmniDet则专注于场景理解，以帧/秒的速度执行几何和语义任务，展示了鱼眼技术的广泛应用。

       未来的研究方向将聚焦于失真感知CNN等前沿技术，同时，我们的资源库autodriving-heart/Awesome-Autonomous-Driving提供了丰富的自动驾驶技术综述，包括BEV/多模态融合等，为深入探索提供了宝贵的参考。

opencv去畸变的方法图像去畸变vs点畸变

       相机分为窄角相机和广角相机，相机模型主要分为针孔相机模型和鱼眼相机模型。

       图像畸变主要分为径向切向畸变模型和鱼眼相机的eval函数源码Kannala-Brandt畸变模型。

       在OpenCV中，进行图像去畸变的方法主要有两种：undistort函数和remap函数。

       undistort函数用于处理鱼眼相机畸变，使用方法如下：cv::undistort(temp, view, cameraMatrix, distCoeffs)；或cv::fisheye::undistortImage(temp, view, cameraMatrix, distCoeffs)。

       remap函数则用于计算无畸变图像，步骤包括估计新的相机内参矩阵newCamMat，并通过initUndistortRectifyMap初始化畸变矫正矩阵，然后使用remap函数计算无畸变图像：Mat newCamMat；fisheye::estimateNewCameraMatrixForUndistortRectify(cameraMatrix, distCoeffs, imageSize, Matxd::eye(), newCamMat, 1)；fisheye::initUndistortRectifyMap(cameraMatrix, distCoeffs, Matxd::eye(), newCamMat, imageSize, CV_SC2, map1, map2)；initUndistortRectifyMap(cameraMatrix, distCoeffs, Mat(), getOptimalNewCameraMatrix(cameraMatrix, distCoeffs, imageSize, 1, imageSize, 0), imageSize, CV_SC2, map1, map2)；remap(view, rview, map1, map2, INTER_LINEAR)。

       此外，OpenCV还提供了针对点畸变的distortPoints函数，它分为鱼眼和窄角两种调用原型。

       为了直观展示去畸变的过程，我们可以通过编写示例程序来实现undistort、remap和remap-undistort功能。具体实现方法和步骤可以参考OpenCV官方文档或相关教程。

基于Python实现相机标定正畸并生成鸟瞰图

       基于Python实现相机标定正畸并生成鸟瞰图的实验概述

       实验目标是利用Python和OpenCV进行相机标定，校正图像畸变，并生成鸟瞰图。实验基于Learning OpenCV的示例-1和-1，首先通过棋盘格图像进行相机参数的定标，将内参写入XML文件。

       标定相机参数的过程中，OpenCV考虑了径向和切向畸变。径向畸变使用公式纠正“桶”或“鱼眼”效应，切向畸变则考虑了镜头与成像平面的非平行性。相机参数矩阵包含光学中心坐标和焦距，用于将世界坐标转换为像素坐标。

       实验的核心环节是鸟瞰视角转换。通过比较图像中实际棋盘格角点与理想位置，计算出映射矩阵，将每个像素点映射到棋盘格坐标系，从而获得鸟瞰视角。具体步骤包括读取、标注棋盘格、使用calibrateCamera函数获取相机参数，然后进行畸变矫正和图像剪切，最后生成鸟瞰图并进行视角调整。

       实验结果显示，使用自己拍摄的照片进行正畸后，棋盘格被正确地映射到左上角，flask 源码下载视角可通过参数调整。然而，过程中也遇到过模糊图像的问题，通过调整视角变换矩阵参数解决了此问题。

       总结来说，这次实验加深了对Python在相机标定和图像处理中的应用理解，也解决了实际操作中遇到的问题，如视角转换矩阵的正确使用。

小觅双目摄像头D-IR-/Color模组评测(下)

       分析 camera 的参数

       每个相机镜头都有不同的参数，因此针对每个镜头都需要做光学标定。首先需要对镜头进行参数建模，分投影模型和畸变模型，投影模型我们选用比较通用的 pinhole 模型，包括焦距，光心。畸变模型我们选用 radtan 模型，包括径向畸变，切向畸变。

       Pinhole 模型即针孔相机模型，投影方程及示意图为:

       其中 fx , fy 为焦距, cx , cy 为光心, (x,y,z) 为相机坐标系下的 3d 点坐标, (ix,iy) 为图像坐标系下的像素点坐标。

       Radtan 模型即 radial-tangential 模型，包括径向畸变参数和切向畸变参数。畸变方程及示意图为:

       以上是单个相机镜头的一些标定参数，被称为内参。如果具有多个相机镜头，比如现在广泛使用的双目相机，则还存在相机与相机之间的变换关系，被称为外参，模型及示意图如下:

       其中 (x0,y0,z0)’ 和 (x1,y1,z1)’ 分别是每个相机自身坐标系下的同一 3d 点坐标，R 是旋转矩阵，T 是平移向量，R 和 T 被称为外参，表示相机间的相对旋转和相对平移。

       相机标定是计算机视觉领域经久不衰的研究方向，一般都是使用非线性的迭代优化方法求迭代解。下面我们将使用两个工具包来标定手上的小觅相机，并与相机本身自带标定参数做对比。

       首先是被广泛使用的 opencv 的标定方法. 我们使用了 opencv 自带的 stereo_calib 例子。使用小觅相机采集了 * 分辨率大小(下同)的图像, opencv 默认是使用黑白棋盘格作为标定板，我们使用 A4 纸打印了一个9X6大小的hp rgs 源码棋盘格，采集了一组对的双目图像，共三组，用于标定。其中一对图像样例及特征提取结果如下图所示:

       基于标定板的标定算法一般是先为待求解参数设置初值，由于标定板上的特征点(如果是黑白棋盘格则是格子角点)分布及坐标已知，则采用 PnP 初始化所有相机的 pose ，然后使用非线性优化方法迭代优化。目标函数则是投影误差方程。

       程序优化结束后，利用优化得到的内外参数值，可以得到去畸变及双目校正后的结果图:

       图中红色方框为图像有效区域，而绿色直线为双目的对极线。可以看出，左右图中任意一个相同的点，都在同一条水平直线上，即完成了双目校正。我们还可以看到校正后的图像形变比较大，这是因为小觅相机采用的是 FOV 视角比较大比较接近鱼眼的镜头，而 pinhole 投影模型是平面投影模型，因此这样会导致形变比较大。如果 FOV 视角过大，则应该采用鱼眼投影模型比如 omni 模型来建模。

       下面我们采用更加专业的标定工具包 Kalibr 来进行双目标定。Kalibr 不仅支持多种相机模型，畸变模型，还支持多相机标定，卷帘相机标定，imu-camera 联合标定。是目前开源工具包中功能较为全面的一个。

       Kalibr 也支持多种类型标定板目标，如棋盘格，原点整列，二维码棋盘格，这里我们使用了 kalibr 默认的二维码棋盘格，其中图像样例及特征提取效果图如下，其中左图是角点提取效果， 而右图是二维码中心的提取结果，这种基于区域的特征提取相比基于角点的特征提取的优势是，对运动模糊更加鲁棒:

       运行完 kalibr 标定程序后, 会生成一个详细的标定结果报告, 以下是一些标定结果示例:

       从图中及标定结果可以看出小觅这款相机基本是平行的，相机间的相对旋转非常小。而我们得到重投影误差比较大，这一般与采集数据的过程，及标定板的精密程度非常相关。

       在使用两种工具包的多组数据进行了标定之后，我们同时使用小觅相机的 api 获取了相机出厂自带的内外参，与我们自身标定的结果对比，我们使用 kalibr 标定了 5 组数据，使用 opencv 标定了 3 组数据，主要对比三类参数，camera0 的内参， camera1 的内参，camera1 相对 camera0 的外参:

       由于 opencv 中的相机内参没有径向畸变参数，我们将其设置为 0 , 从表中数据可以看出，不同 kalibr 数据组之间的一致性比较好，与小觅出厂数据也较为接近。 但是与 opencv 的标定结果相差较大。

       分析 imu-camera 联合标定

       Kalibr 最大的优势在于可以实现 imu 和 camera 的联合标定，相比 visual-odometry , visual-internal-odometry 具有尺度可知，重力方向可知，旋转预测精确等许多优势，因此在 camera 系统中加入 imu 是许多 slam 系统的选择，但是 imu 和 camera 之间相对关系的标定还是一个相对复杂的问题。而 Kalibr 将这个问题纳入了工具包，提供了标定的算法。

       Kalibr 做 imu-camera 联合标定的前提是提供 camera 标定参数, 及 imu 是已经校正好的 (kalibr 也提供更复杂的算法联合标定时同时标定 imu 的 scale 和 misalignment , 但本文不考虑这个问题) 。因此我们在对手中的小觅相机做联合标定时, 使用了上一节 kalibr 标出的相机内外参作为固定参数, 在采集 imu 的时候还设定了 PROC_IMU_ALL 模式，即同时校正了温漂问题和 scale/misalignment 问题。

       Kalibr 做 imu-camera 联合标定的框架与camera标定的框架基本一致。需要标定 imu 与camera 的相对旋转和平移。但与 camera 标定最大的不同是，camera 标定是静态的标定，而 imu 数据是时序相关的，每个数据都带一个时间戳，即动态标定。camera 产生的图像数据的时间戳与 imu 产生的 gyro/acc 数据的时间戳并不一定完全同步，所以涉及到不同硬件的时间戳同步问题。因此 Kalibr 还将 camera 与 imu 之间时间戳的延时加入了优化参数中。

       参照 Kalibr 的文档，我们同样采集了 5 组数据用于标定，在数据采集过程中需要注意的主要有两点，一是需要经量激励加速度计的各个轴，因此只有 imu 产生足够的数据变化，一些参数才能变得可观，即可优化。二是需要提高外部环境光强度，降低快门和曝光时间，因为需要运动，如果曝光时间长，则图像会产生运动模糊，会影响特征提取的精度。下图是运行 kalibr 动态标定的重投影误差结果示意图:

       从上图可知，结果有一些误差比较大的 outlier 点，这可能会影响标定的效果。

       在和小觅的技术同学沟通后，小觅的技术也进行了 Kalibr 标定，从重投影误差看，标定的结果还可以，outlier 较少。

       标定的结果有很多影响因素，这个问题，还可以进一步深挖。

       小觅的技术标定结果如下图：

       我们使用 api 从小觅相机中读出出厂标定的结果，与我们 kalibr 的标定结果做对比，数据如下:

       从表中可以看出，在 imu 与 camera 的相对平移值上，我们的标定结果与出厂数据差别较大，达到厘米级，但是 kalibr 结果本身的分布是相对一致的。

鱼眼相机图像如何矫正?

       相机分为窄角相机和广角相机，相机模型主要分为针孔相机模型和鱼眼相机模型。图像畸变根据模型可以分为径向切向畸变模型和鱼眼相机的Kannala-Brandt畸变模型。OpenCV提供了针对鱼眼相机图像去畸变的函数。

       在OpenCV中，涉及图像去畸变的函数为undistort和remap。undistort函数有两版，分别对应普通相机和鱼眼相机。remap函数用于计算无畸变图像。

       去畸变过程中，需要引入新的相机内参矩阵newCamMat，用于调节去畸变后的视野大小。通过Estimates new camera matrix for undistortion or rectification函数来估计此矩阵。之后，利用initUndistortRectifyMap函数初始化畸变矫正矩阵，并转换为map1和map2。通过remap函数，利用map1和map2计算无畸变图像。

       在使用remap函数进行图像矫正时，需要调用remap函数，并将view图像、新的内参矩阵newCamMat、map1和map2作为参数输入。INTER_LINEAR插值方式用于图像矫正。

       在OpenCV中，还提供了针对点的去畸变函数distortPoints，分别适用于鱼眼相机和窄角相机。

       为了更好地理解和实现图像去畸变的过程，可以参考示例程序。这些程序展示了如何使用上述函数，完成图像的去畸变操作。

       请注意，为了提高算法运行速度，OpenCV将undistort函数扩展为initUndistortRectifyMap函数。通过输出两个查找表map1和map2，可以更高效地进行图像矫正。

       以上内容详细介绍了OpenCV中针对鱼眼相机图像去畸变的函数和过程，包括undistort和remap函数的使用方法，以及点去畸变的distortPoints函数。通过这些函数，可以有效地处理和矫正鱼眼相机拍摄的图像。为了更深入地学习和实践这些技术，可以查阅OpenCV文档或相关教程。关注我，获取更多关于计算机视觉的资源和信息。

AVM环视系统——鱼眼相机去畸变算法

       在AVM全景环视系统的研发中，我亲历了鱼眼相机去畸变的挑战，通过自定义算法和OpenCV的深厚支持，实现了高效处理。以下将深入解析这一过程，包括模型理解、参数估计、标定方法，以及去畸变背后的科学原理和C++实践。

       首先，鱼眼相机模型并非传统的等距或线性投影，而是光线在经过特殊镜头后，图像中心呈现汇聚。OpenCV中，Kannala-Brandt模型是常见的处理手段，它内置于库中，为我们的工作提供了便利。

       标定阶段，我们借助标定板法来计算相机参数，包括内参和畸变系数。然而，在实际应用中，快速标定往往仅获取外参，而出厂相机的内参如焦距和内参矩阵则可以作为初始值使用。

       去畸变的核心在于理解光线的折射与成像点的关系。畸变表提供了这一桥梁，通过多项式拟合，例如Python的`curve_fit`，我们得以确定畸变参数。在拟合过程中，必须考虑实际焦距，它可能与内参矩阵中的f/dx不同。

       在C++实现中，OpenCV的`cv::fisheye::initUndistortRectifyMap`函数扮演关键角色，它需要输入内参K、畸变参数D、校正变换R和新内参P，以及输出图像的尺寸。K参数表示镜头的焦距与感光元件尺寸的比例，主点位置则是内参矩阵的焦点。

       去畸变时，我们可能需要调整输出图像的相机参数，如增大图像尺寸。例如，将主点坐标扩大一倍（`intrinsic_undis(0,2) *= 2, intrinsic_undis(1,2) *= 2`）或四倍（`intrinsic_undis(0,2) *= 4, intrinsic_undis(1,2) *= 4`），以最大化视野。为了优化性能，我们可能还需要调整f值，使去畸变后的图像更紧密贴合原图像。

       代码示例展示了如何在C++中操作这些参数，通过计算每个像素在去畸变和鱼眼图像之间的映射关系，确保图像的正确显示。

       去畸变过程的每一步，从归一化平面的转换，到Kannala-Brandt模型的应用，再到像素坐标的调整，都体现了算法的精密与复杂。特别是角点检测，它在鱼眼图像中的表现尤为重要，而OpenCV的undistortPoints函数则提供了一种从鱼眼到去畸变的高效转换。

       值得注意的是，去畸变后的角点检测通常在原始鱼眼图像上进行，而非去畸变后的图像。这要求我们在设计算法时灵活处理，可能需要自定义函数，如`CalibrateInit::warpFisheye2Undist`，来优化多项式拟合，提高处理速度。

       总结来说，鱼眼相机去畸变是一个技术密集型的挑战，它涉及相机模型理解、参数精确计算和高效算法设计。在AVM全景环视系统中，每个环节的优化都是提升系统性能的关键。我们期待与行业同仁共享经验，共同探索更优的去畸变方法。