平面靶标图像角点识别
角点是一种重要的图像局部特征, 反映了图像在该处的亮度发生了剧变或图像边缘线的曲率在该点有极大值。角点识别是目前大多数视觉处理的基础,其识别效果的优劣直接决定了后续视觉处理的效果。角点识别方法主要有两类：(1)基于边缘轮廓的角点提取算法一一首先识别图像中物体的轮廓,再从中提取 出角点; (2)在像素层面上直接对灰度图像进行分析, 识别出角点。Harris角点识别算法是目前Zui常见的角点检测算法, 其主要思想是设置一个固定大小的滑动窗口,计算窗口沿各方向移动后的灰度变化。因为灰度图像在角点附近区域像素灰度值变化非常大, 梯度值也非常大, 因此图像像素点在各方向上的灰度强度变化可以用微分算子来表示, 因此利用微分运算和自相关矩阵能够有效地识别边缘点和角点。对于一幅给定的图像 , Harris角点识别算法首先计算其在 轴和 轴方向上的微分: 然后利用一个高斯窗口对 和 分别计算卷积: 其中, 表示卷积运算。 表示高斯窗口,由式(4-28) 可得图像的自相关矩阵: Harris算法的角点响应函数为: 其中, 为常量; 表示乘法; 和 分别表示矩阵 的行列式和迹: 在高斯窗口中寻找极大值,如果 大于阈值则该点可视为角点。利用 Harris 角点识别算法识别出平面靶标的角点, 如图 4-6所示。
3. 摄像机标定过程
摄像机基于针孔模型拍摄多幅不同视角的平面靶标图像，并利用角点识别算法识别出图像中的角点, 建立平面靶标中角点的世界坐标和图像中角点的像素坐标之间的对应关系,应用“两步法”进行标定 。(1) 忽略畸变,求解摄像机参数初值。根据式(4-17)、式(4-21)、式(4-26), 可得空间世界坐标系下的点的坐标到图像像素坐标系下点的坐标的映射关系为: 其中, 为比例系数。 由于摄像机标定使用的参照物是二维的平面靶标,因此将世界坐标系建立在靶标上, 靶标平面为 的平面。设 ,则式(4-32)可化为 设 则有: 由于 和 是旋转矩阵 的第一列和第二列,因此有: 联合式(4-36)可得: 设 ,则: 显然, 是对称矩阵,设 其中, 或 或 。则式(4-38)可化为: 将式(4-41)中两子式合并可得： 以足够多不同视角拍摄的图像为对象, 计算每幅图像上的角点在图像像素坐标系下的坐标和世界坐标系下的坐标, 利用两坐标系之间的转换关系可得 、、 。将所有图像的约束方程联合可求解出 , 由 可得摄像机的内参数为: 其中，
由式(4-36)可知每幅图像的摄像机外参数为: 在实际应用中,上式所得的旋转矩 可能并不完全满足 ,因此需要进一步优化。将所得的 进行奇异值分解 (SVD, singular valuedecomposition): (4-46)计算出 和 后,令 为单位阵,重新合成得到优化后的旋转矩阵 。(2) 融合畸变,进一步优化摄像机参数。第一步中忽略了摄像机畸变的影响,求解的摄像机参数存在较大误差。在这一步中, 重新考虑摄像机的畸变, 使用类似第一步的方法,建立摄像机内外参数之间的约束关系。然后通过非线性Zui优化算法来验证该约束关系。当实际拍摄的图像上对应点的坐标与平面靶标上角点映射到图像像素坐标系上的坐标之间的距离的平方和达到Zui小时,便可获得摄像机内外参数的Zui优值。
2.3 手眼标定
1. 手眼标定原理
摄像机标定法Zui终能够将摄像机坐标系下的点转换到平面靶标世界坐标系 下的点,却不能将这些点转换到机器人末端坐标系中。在实际应用基于视觉的在线误差测量模型中, 由于要实时测量平面靶标和摄像机的位姿关系,因此将摄像机绑定在机器人末端, 形成手眼关系,使摄像机随机器人运动。寻找出摄像机坐标系和机器人末端坐标系之间的位姿转换关系就是手眼标定的Zui终目的。
图 4-7 示意了机器人末端和摄像机手眼的关系。假设机器人处于位姿 1 时,末端相对于基座的位姿矩阵为 , 摄像机坐标系到末端坐标系的位姿矩阵为 ,平面靶标世界坐标系相对于摄像机坐标系的位姿矩阵为 ,此时世界坐标系在机器人基座坐标系下的位姿为 。当机器人运动到另一个姿态时,假设上述的位姿关系 、 和 变为 、 和 ,那么此时世界坐标系在机器人基座坐标系下的位姿为 。由于摄像机固定在机器人末 端, 无论机器人处于何种姿态,摄像机坐标系到机器人末端坐标系的转换关系都是静止的,所以 。 和 可以通过机器人正解得到, 和 是摄像机在不同姿态下的外参数矩阵, 由摄像机标定过程可得。另外, 和 都是形如 的 矩阵, 且均具有逆矩阵,其中 是 的单位正交旋转矩阵, 是 的坐标平移向量。在 的两端同时左乘 和右乘 ,得到: (4-47)设 ,则有: (4-48)手眼标定就是利用手眼数据求解摄像机坐标到机器人末端坐标的位姿矩阵 的过程。 2. 手眼标定方法求解式 (4-48) 的手眼标定方法主要有两类:线性方法以及非线性方法。手眼标定方法的线性方法主要有:(1)旋转平移解耦法。将式 (4-48)中旋转分量和平移分量解耦来求解是Zui基本的手眼标定方法。假设 (4-49)则式(4-48)可转化为: 但是上述方程组的解不唯一,要确定唯一解, 需要至少两组数据, 得到以下方 程组: 根据上式利用旋转矩阵的性质,可首先求解出旋转部分 , 将求得的 回代即可求得平移部分 。该方法需要摄像机的内参数已知。(2)共同标定法。共同标定法指的是同时进行手眼标定和摄像机标定。该手眼关系包括了与图像点的坐标相关的摄像机的外参数矩阵。因此便能得到这三者 (手眼关系、图 像中点、摄像机参数) 的坐标之间的约束关系,通过建立并求解该约束关系方程 组, 即可得摄像机参数和手眼关系, 同时完成摄像机标定和手眼标定。但是, 该方法忽略了摄像机的畸变,无法确保系统精度。(3)数学法。该类方法通过使用特殊的数学工具如四元数、对偶四元数以及矩阵直积等对式(4-48)进行变换求解。该类方法通常不用解耦旋转部分和平移部分, 因此相比于其他方法精度高、鲁棒性强、效率高。本节接下来以基于矩阵直积的手眼标定法为例,介绍数学法求解手眼标定关系方程组。 设存在 矩阵 和 矩阵 则 和 的直积 为 矩阵: 定义线性算子vec表示将矩阵 的元素以长为 的列向量表示: 设 是 的矩阵, 是 的矩阵, 是 的矩阵, 由矩阵直积和线性算子 vec的定义可知: (4-55)当 或 是单位阵时,有: 设a和b为常数,则有: (4-57)现利用矩阵直积和线性算子 vec 来进行手眼标定,由式(4-50)可得: 要确定上式的唯一解, 至少需要两组旋转轴不平行的运动,将这两组运动得到的方程联合： 考虑到系统噪声,将式(4-59) 改写成: 式 (4-60) 是形如 的方程组,将系数矩阵 和向量 组成矩阵 , 对该矩阵进行奇异值分解,利用Zui小二乘法求解出Zui小奇异值对应的特征向量 ,则手眼关系矩阵为: (4)运动限制法。该方法类似方法一, 其通过限制机器人的运动如迫使机器人只做正交平移运动来实现对手眼关系旋转和平移的解耦。由于运动限制法精度要求特别高, 因此机器人必须具有极高的定位精度,能够jingque地执行某些特殊运动, 才能实现该方法。上述 4种方法为手眼标定的线性方法。由于非线性方法通常较为复杂, 并且要求噪声模型jingque度高, 实用性不强,因此本章不作介绍。