在煤炭生产中,直接开采出来未经过任何加工的煤炭称为原煤,原煤中不可避免的会混入一些杂质,其中最常见的就是煤矸石。煤矸石发热量低,混入煤炭中会降低煤炭能源的供应效率,在燃烧时释放的有毒气体还会造成污染环境。但原煤中分离出的煤矸石不仅可以被用做墙体材料、化工产品、工艺品等,还可以应用于地下回填和综合发电,其中稀有金属等成分可以进一步提炼。因此将煤矸石从煤炭中分离出来是煤炭生产过程中必不可少的一个处理流程,也是减少煤炭使用中的环境负效应和提高煤炭品质的有效方法之一。根据煤和矸石在密度、视觉信息以及对光的选择性吸收程度上的差异,发展成了多种煤矸分选方法,按照装置不同可分为机械选矸、放射性选矸、人工选矸和光学及图像选矸等。目前最广泛应用的分拣方法是人工选矸,这种方法依靠工人主观判断进行分拣,较为灵活,但是人工选矸工作环境恶劣、劳动强度大、容易发生错选和漏选。传统工业机器人无法感知辨别煤和矸石,因此将机器视觉技术运用到传统工业机器人中,帮助机器人进行图像分析处理,感知外部环境,实现无人化、智能化的自动控制。但是煤和矸石图像识别难度大,现有算法准确率低,机器视觉算法有待进一步研究。基于视觉的机器人分拣将人从煤矸分拣的恶劣环境中解放出来,还可以大大提高生产效率,有利于矿山建设向无人化和智能化发展。本文充分运用矿物学、图像处理、统计与概率、模式识别、深度学习、机器人学、线性代数与空间解析几何、计算机科学等理论知识,结合煤矸识别的真实工作环境特点和工业需求,聚焦基于传统机器学习和深度学习的块煤和块矸的图像识别和机器人分拣控制问题,开展基于视觉信息的煤矸自动分拣机器人系统的研究。本文的主要研究内容及结论为:（1）研究了基于纹理的煤和矸石的视觉信息提取方法。视觉差异一般体现在形状、颜色和纹理等,但是煤和矸石都没有固定形状,表面覆盖了煤粉,颜色都呈灰黑色,视觉特征提取难度大。由于原煤在运输过程中会不可避免发生碰撞导致在其表面形成部分裸露区域,本文基于此,结合显著性检测思想,提出了基于形态学提取感兴趣区域的方法,并设计了凹凸度、对比度和复杂度三个纹理特征用于构建煤和矸石分类器。相比于灰度共生矩阵法（Gray Level Co-occurrence Matrix,GLCM）,本文提出的纹理特征提取方法具有更好的煤和矸石视觉信息提取效果。通过最小二乘支持向量机（Least Squares Support Vector Machine,LSSVM）分类器构建煤矸分类模型,取得了75%的识别准确率。提取图像中基于人类感知的简单直接的特征可以更有效实现图像分类,本研究提出的图像纹理特征提取方法准确的提取了图像中的纹理信息,提高了差异不明显的图像的分类准确性。（2）研究了煤、矸石与图像背景的图像分割算法。图像分割是进行图像分析的基础,由于煤、矸石和带式运输机的颜色十分接近,图像分割难度大,传统阈值分割算法无法对真实背景的煤矸图像实现分割,此前大量研究未考虑实际工程环境简化了煤矸石图像背景。本文结合新型超像素分割算法,提出了一种融合了纹理特征的超像素图像分割方法（simple linear fused texture clustering,SLFTIC）,将像素分成具有感知灰度和纹理功能的原子区域,再计算像素间的灰度距离、空间距离和纹理距离,调整超像素块,经多次聚类形成稳定超像素,实现基于超像素的图像分割,为后续图像处理奠定基础。实验证明SLFTIC算法在欠分割误差和边界召回率等性能上都有良好表现。该算法对分割前景和背景相近的图像,例如矿物图像和医学图像,具有良好的应用前景。（3）研究了基于深度学习对煤矸图像识别和定位。深度学习相较于传统机器视觉,不需要人工设计特征和选择分类器,而是模仿人脑从经验中学习获取知识,通过大量数据在神经网络中训练获得分类模型。煤矸分拣不仅要对煤和矸石进行分类,还要实时对目标进行定位,对算法的准确率和计算速度都有较高的要求。针对煤和矸石形状随机、粒度差别大、实时运动的特点,提出改进的YOLO算法检测煤和矸石。通过K-means算法聚类锚框设置网络的超参数,构建卷积神经网络的两个输出分支分别用于检测大尺度目标和小尺度目标。通过建立丰富多样的煤矸图像数据集,训练出具有高鲁棒性的煤和矸石的目标检测模型,该模型不仅识别目标还定位目标,经测试达到了98%的准确率和11fps的检测速度,大大提高了识别的准确率和实时性。基于深度学习的煤矸目标检测具有很强的可移植性,通过参数调整解决各个煤矿中多种煤和矸石的煤矸分选问题。（4）研究了眼在手外的机器人系统相机标定和手眼标定方法。基于小孔成像原理,通过张正友标定法实现了工业相机内参和外参的标定,完成了像素坐标系、图像坐标系、相机坐标系和世界坐标系之间的转换。再利用机械臂末端点触标定板中的角点,完成“眼在手外”的六轴机械臂的手眼标定,构建相机坐标系和机器人坐标系的关系,最终完成像素坐标系与机器人坐标系的坐标转换。（5）研究了基于视觉信息控制六轴机器人进行煤矸自动高效分选问题。利用改进型D-H参数法对六轴机器人进行建模及运动分析,提出将第六轴坐标系平移到第五轴坐标系,构建第七轴坐标系,使机器人满足三轴交于一点的Pieper准则,求解出逆运动学的解析解。提出了基于视觉信息的多目标动态分拣策略,综合目标检测结果和带式运输机运动速度确定最优控制分拣方式,实现了目标分拣效率的最大化。经虚拟仿真和实验验证,机器人的平均分拣效率相比于随机分拣提升了20%。提出的多目标动态分拣策略基于视觉信息引导机器人高效分拣,具有理论价值和工程意义。