基于 Kinect三维重建的毕业论文.pdf 43页

'学士学位论文基于Kinect三维重建的纹理贴图姓名：方清院系：计算与应用数学系学号：PB11001095导师：刘利刚教授完成时间：二〇一五年五月 UniversityofScienceandTechnologyofChinaAdissertationforbachelor’sdegreeTexture-Mappingbasedon3D-ReconstructionbyKinectAuthor:QingFangDepartment:SchoolofMathematicalScienceStudentID:PB11001095Supervisor:Prof.LigangLiuFinishedTime:May,2015 中国科学技术大学学士学位论文致谢在经过紧张的两三个月后，我的毕业设计圆满的完成。在这段时间里，感谢导师在我选题上的无私帮助，在我遇到困难时耐心的交流指引。同时，也感谢杨红庄和王士玮两位学长对我的毕设提供了很大的帮助：在毕设改进的想法中两位师兄给予了我很多建议，在代码coding上的指引也使我的代码水平有了很大的提高，使我最后的程序实验有了很好的结果。由于毕业设计的时间和个人水平的限制，毕设中难免会出现一些纰漏错误，恳请各位读者悉心指正。方清2015年6月15日I 中国科学技术大学学士学位论文目录致谢···························································I目录···························································III表格索引·························································V插图索引·························································VII算法索引·························································IX摘要···························································XIABSTRACT······················································XIII第一章绪论····················································11.1Kinect与点云重建············································21.1.1Kinect简介················································21.1.2Kinect数据流··············································21.1.3点云重建··················································31.2MRF-BasedGraph-cut··········································41.2.1MRF-Basedfunction··········································41.2.2Graph-Cut·················································4第二章三角网格的纹理贴图····································72.1Alpha-expansionGraphCuts与纹理贴图··························82.2阈值限制下的纹理贴图········································8第三章纹理贴图后期处理······································113.1纹理延伸····················································113.2色差优化····················································12第四章实验结果················································15第五章结论与改进·············································17参考文献·························································19附录AGraph-cut辅助无向图的构造····························21A.1Alpha-betaswap辅助无向图····································21A.2Alpha-expansion辅助无向图····································23III 中国科学技术大学学士学位论文表格索引2.1网格规模与运行效率..........................9A.1AUXweights...............................22A.2AUXweights...............................24V 中国科学技术大学学士学位论文插图索引1.1纹理投影，图片来自于[13].......................11.2Kinect相机................................21.3Kinect数据帧...............................31.4Kinect原理图...............................32.1贴图相机位置..............................72.2alpha-expansion贴图方案........................92.3阈值限制下的贴图方案.........................92.4alpha-expansion效果...........................92.5阈值限制效果..............................93.1texture-blank...............................113.2texture-extend...............................113.3f+g示意，图片来自于[10].......................123.4色差优化图左边为未优化前，右边为优化后.............143.5经过-expansion再色差优化后的效果................143.6经过阈值限制再色差优化后的效果..................144.1对kinect三维重建后的模型，图为选择快速阈值限制贴图方法进行处理后的模型纹理效果,处理时间平均为10s............154.23D彩色打印的纹理模型........................16A.1alpha-betaswap一维AUX示意图，图片来自于[8].........21A.2alpha-expansion一维AUX示意图，图片来自于[8].........23VII 中国科学技术大学学士学位论文算法索引1.1alpha-betaswapalgorithm.........................51.2alpha-expansionalgorithm.........................5IX 中国科学技术大学学士学位论文摘要三维重建一直是人们获得3D模型的重要途径。近年来，三维重建技术随着primesense、Kinect等深度颜色获取设备的普及越来越成熟，人们可以便捷地通过扫描现实中的物体、环境等反向得到所需要的三维模型。但是由于扫描过程中误差的累积，融合模型所注册的颜色会显得模糊，不能真实展现出物体表面的纹理，往往需要人们进行后期长时间的处理还原，不仅浪费时间，而且处理后的颜色和真实的物体纹理间存在一定的差异。不同于ICP中将颜色融合注册的做法，本文对Kinect数据流中的彩色图像通过相机投影产生纹理映射，分别通过Graph-cut和阈值限制的方法生成合适的贴图方案，并对纹理空白处利用已知纹理进行补全，最后通过最小二乘色差优化来消除纹理投影间因环境光而产生的光强差异，生成光滑清晰的纹理贴图。关键词：Kinect，纹理贴图，纹理填充，色差优化XI 中国科学技术大学学士学位论文ABSTRACT3D-Reconstructionhasbeenanimportantwayforpeopletoobtainathree-dimensionalmodel.Inrecentyears,three-dimensionalreconstructiontechniquesgetmoreandmorematurewithdeviceswidelyused,suchasprimesense,MicrosoftKinect,etc.Peoplecaneasilygetathree-dimensionalmodelofthedesiredobjectbyscanning.However,duetotheerrorcumulationinscanningprocess,theregisteredcoloroffusionmodelwillappearblurred,whichcannotexactlyshowthetextureofthesurface.Usuallypost-processingisneeded,whichnotonlywastestime,butalsocausesdifferencestorealtexture.Differenttoregisteringonmodel,weprojectthecolorimagestomodelfortexture-mapping.WegenerateapropertexturemosaicbyGraph-cutorthresholdrestriction.Fortextureblankofmodel,wemaketexture-extendingtofillit.Finally,color-optimizationwillberealizedbyleastsquaretoreducetheinfluenceofambientlightandawelltexture-mappingcanbeachieved.Keywords:Kinect,texture-mapping,texture-extending，color-optimizingXIII 中国科学技术大学学士学位论文第一章绪论基于图像的模型纹理贴图一直是计算机图形学的重要应用，纹理贴图后的网格相比于带颜色的三维点云显得更加精细。因此，在三维重建所获得的模型上，图像投影的纹理贴图效果也远比点云ICP获得的颜色效果真实。如图1.1所示，纹理贴图投影时图像的交叠处的处理一直是影响贴图纹理质量的非常重要的问题。早期对于纹理交叠的处理，一种方法是实施纹理图像在网格模型上的加权平均[7]，另一种方法即对于交叠处只选择其中某一个纹理图像并使用羽化的小块区域覆盖纹理图像间的缝隙[6]，这些做法不仅会导致交叠区域纹理的模糊,而且需要曲面的参数化，而这对复杂的模型相当困难。随着平面Graph-cut[9]和梯度域[11]技术的发展，曲面上图像交叠问题亦通过相应的延伸技术到很好的处理。参照SeamlessMosaicingofImageBasedTextureMaps[10]的处理纹理贴图的方法，本文使用全局上的Graph-cut以及非贪婪的能量优化来生成和优化kinect三维重建模型的纹理贴图，不仅保持了纹理图片的分辨率，而且即使在纹理图片光强差较大的情况下也能得到很好的结果。图1.1纹理投影，图片来自于[13]1 中国科学技术大学学士学位论文1.1Kinect与点云重建1.1.1Kinect简介Kinect是微软于2010年推出的3D体感摄影机，初始时作为体感游戏中人体动作的获取设备。Kinect有三个摄像头，分别用来发射红外线，接收红外线以及获得彩色图像，其中发射和接受到的红外线用于获得物体表面的深度数据。由于其可获取深度数据和颜色数据的特性，kinect可以被用于物体表面信息的获取，作为点云重建的输入。相较于结构光扫描仪，激光扫描仪等其他扫描仪而言，kinect虽然精度低，但拥有着价格低廉，操作简单，便于携带的优势。基于这些优势，本文选择kinect为实验中三维重建的数据采集设备。图1.2Kinect相机1.1.2Kinect数据流Kinect采集的深度数据流和彩色数据流是由一帧帧深度矩阵以及RGB值矩阵构成的。对于L×H阶深度帧矩阵中的每个点(i,j)以及该点对应的深度值depth与相机框架坐标系中的点(x,y,z)存在一一对应：x=f(i-L)×depthx2y=f(j-H)×depth(1.1)y2z=depth这里fx;fy是与相机有关的常数。利用(1.1)可以将kinect深度数据帧转换成相机坐标系下相应的点云。2 中国科学技术大学学士学位论文图1.3Kinect数据帧图1.4Kinect原理图Kinect深度数据转化成的点云缺乏相应的颜色值，需要将彩色数据帧的信息注册到深度数据上。由于彩色摄像头和深度摄像头在kinect上位置的差异，RGB值矩阵和深度矩阵所代表的空间位置存在相应的平行差。利用SDK中相应的校正函数可以将颜色数据流绑定到深度数据流上，使得深度矩阵中的元素与RGB矩阵的元素建立一一对应，进而获得每一帧数据对应的带有颜色的点云。1.1.3点云重建在kinect扫描建模的过程中，由于kinect需要移动来获取物体表面的完整信息，kinect每一帧数据对应的相机框架坐标系之间存在平移和旋转矩阵。在连续移动中，kinect采集的深度数据上一帧和下一帧对应的点云有很大一部分是重合的，可以通过并行ICP算法[1](并行的迭代最近点算法)计算出两点云间的刚性变换，对应为相机运动的旋转与平移矩阵，进而将每一帧的点云注册融合。在kinect环绕物体表面一圈后可以得到重建后的物体点云，再通过marching-cube网格提取算法[2]对点云提取出表面三角网格。3 中国科学技术大学学士学位论文1.2MRF-BasedGraph-cut1.2.1MRF-BasedfunctionMarkovRandomFields[3](MRF，计算机视觉上通常称其为马尔科夫网络)是关于一组有马尔可夫性质随机变量X的全联合概率分布模型，它是马尔科夫链向二维上的推广。马尔科夫链中每一个随机变量仅取决于其前一个随机变量的取值，与再之前的随机变量无关。因而二维的MRF表示每一个随机变量的取值仅与其邻近的随机变量的取值有关，与其它随机变量的取值无关。可以看出，MRF是无向图的概率表示，其中无向图每个顶点v∈V表示集合X的随机变量，边fu;vg∈E表示随机变量u和v之间的一种依赖关系。在计算机视觉研究中，MRF模型常被用来解决数字图像处理的问题。例如labeling问题,即在一定的约束下给每一个顶点贴上相应的标签问题。在这类问题中经常涉及到MRF-Basedfunction的优化：∑∑E(f)=Dp(fp)+Vfp;qg(fp;fq)(1.2)p∈Pfp;qg∈N其中P表示无向图的顶点集，N表示无向图的边集合，fp表示在p∈P处的标签(在有限集K内)，Dp>0;V(p;q)>0且V(p;q)=0⇔p=q。1.2.2Graph-Cut早期对于如(1.2)这种MRF-Basedfunction的优化在时间效率上很难保证，YuriBoykov使用Graph-Cut[8]的方法大大减少了计算代价。Graph-Cut方法在根据原始无向图的基础上通过构造新的带有权重的无向图将labeling方案与新构造的无向图上的割之间形成一一对应，这样E(f)的优化就等价于求辅助无向图上的最小割问题。YuriBoykov通过有限集K里的元素对顶点集P进行划分，K中的每一个元素t的划分对应于P中取值t的顶点组成的集合Pt，显然Pt互不相交且它们的并为P。划分Pt和无向图顶点处的取值分布是一一对应的，Pt的改变则会导致E(f)函数值的变化。YuriBoykov提出了两种来迭代求解能量函数E极小值的方法：alpha-betaswapGraphcuts与alpha-expansionGraphcuts。任选取有限集K里的两个元素和，P和P分别为和对应的顶∪点集划分，记P=PP。alpha-betaswap操作只针对P里的元素进行交换，产生新的P和P，而K中其他元素对应的划分不变。即在alpha-betaswap操作后，′Pl=Pl;foranyl̸=;如算法1.1所示，对于一个初始给定的labeling方案f，对从K中任选两个元素组成的f;g对，对f在该f;g对下进行alpha-betaswap操作并使得E(f)最4 中国科学技术大学学士学位论文input:任意的贴图方案f1success:=02forf;g⊂Kdo′′3在对f进行一步alpha-betaswap交换的所有f中,fˆ=argminE(f)4ifE(fˆ)