原创————Rusu 博士论文记录
前面已经简单介绍了PCL和他的开拓者rusu,这篇博文是自己阅读完他的毕业论文后的记录，现给出记录与大家分享，有理解不对的地方可以共同交流。
绪论
- 之所以采用3维点云的方式是因为
- 2d视觉的相机很容易受外界光的影响，曝光不足或光强变化剧烈等等
- 2d视觉是世界到相机的投影变换，视野受限，在特征点匹配中容易把相似的不同物体误匹配。
- 在计算过程中的问题
- 将输入点云转换成有意义的各个物体
- 点云噪声影响很大，如何克服
- 本文介绍了三个部分
- 第一个部分介绍了点云的集中特性表达，包括点的法向量，最近邻，特征直方图，快速特征直方图；
- 第二个部分利用机器学习的方法来对点云进行模型分类；
- 第三个部分是三个实验，第一个是将桌子上面的物体分类病抓取，第二个实验是实时鉴别门和门把手，第三个实验是实时slam。
系统结构
点云输入
寻找最近邻
滤波—— 剔除外点
- 根据最近邻剔除最近邻距离大于整体均值标准差的点
- 或者根据同时拍摄的两幅图像找对应位置的点，看点间的距离是否大于阈值
- 根据最近邻剔除最近邻距离大于整体均值标准差的点
下采样
- 法向量估计——PCA分析：协方差矩阵最小特征向量
- 曲率估计——协方差矩阵的特征值之比
特征直方图PFH
选取大于邻域范围的半径 建立范围内任意两点的局部坐标系和计算四元数 将所有的值投票简历直方图
快速特征直方图FPFH
与PFH不同的是计算点的邻域的PFH加权，而不是邻域内的任意两点
多视图配准
- 初始配准
- 选择各自距离大于阈值的点，在目标图像中找FPFH近似的一组候选点
- 对C中的点求若干最优的匹配点对，打到寻找初始匹配点
- 利用这些点求得旋转和平移初始的矩阵
- 调用ICP
- ICP配准：容易陷入局部收敛，迭代次数过多
- 初始配准
- 下采样
- 均匀密度：格子取点
- 弥补空洞：判断邻域内与某点的夹角序列，判断序列相邻值之差是否大于阈值
- 聚类
- 根据平面距离划分大区域
- 寻找边界
- 通过点到直线距离拟合平面，根据曲率或者邻域夹角序列差判断边界
- 分割
- 在聚类的基础上根据曲率和夹角变化进行更细致分割
- 边界替代
- 在边界中随机取两点建立直线，判断和世界z轴平行垂直，最终用四点代替边界
模型分类
- 启发式先验知识（第七章）
判断物体平面 判断物体把手的位置 根据位置关系判断物体类别 机器学习训练
双层结构——确定家具和背景（第七章）
剔除水平面和垂直面地面和墙等 余下的点云分割——CRF学习方法 家具的分类 ——CRF学习 是为了在区域生长之后得到的物体数据来进行分类门、柜子、桌子等
学习桌面物体的表面（第八章）
R1 法向量估计的参数 R2 PFH的计算参数—— 参数的选择 PFH来辨别物体不受物体大小影响？ 最优辨识力的特征选取——计算几何位置的平均PFH，计算所有点到mean的距离，根据距离形成 的分布确定初始聚类中心，聚类确定最优特征点 是对每一个点进行训练和测试，得到每个点的几何位置 改进的方案：将SVM转换成CRF条件概率图算法和FPFH直方图- 最终的GFPFH训练分类确定各个物体
修改FPFH权值，带有几何位置信息的点可以重建三角面片，确定抓取位置 利用每个类内的带有几何位置的点，训练SVM 分类成各个物体 利用八叉树数据结构得到全局的直方图来训练SVM 分类成各个物体 - 物体参数拟合和面片重建（第九章）
RANSAC拟合各个类别，识别形状，形状参数拟合后，它的周围的小的聚类可以看作是把手，最后 进行三围重建。最终物体的几何形状由参数形状构建，细小的把手等由外电进行三角面片重建。
- 启发式先验知识（第七章）
Q：
为什么要机器学习两种标签？
同一类物体也有很多种 ，需要有具体的点云所在几何位置的属性才能更好的重建。
8.1写的几何位置的学习，利用了PFH，8.2更改了算法，8.3写的物体整体分类的学习，用的GFPFH。
实验二
- 检测门和门把
- 检测门——先验知识限定门高宽，边界方向和平面法相
- 检测门把——在门的点云中分离
- 分离距离门的平面大于阈值的点
- 根据直方图分离与平面上的点相差较大的点
- 将上述两种点合并进行重建 抓取
