随着计算机视觉在基础任务上的发展,计算机视觉的研究方向正逐渐转向更高层的图像语义与实际的工程应用。提取图像的高维语义不仅需要图像中对象的属性,还需要确定对象之间的交互关系。在大多数的场景和应用中,人是图像语义的交互中心,因此确定图像中人与其他对象的交互关系便成为理解图像语义在工程应用中的关键。本论文针对人与物体交互行为的检测问题,研究了无人便利店场景下的购物行为检测,并进一步对一般场景下的人与物体交互行为进行研究和方法改进。本论文的工作主要包括以下两个部分:(1)基于摄像头结合光栅传感器的无人结算系统实现针对无人便利店场景下的购物行为识别,设计并实现了基于摄像头与红外光栅传感器的无人结算系统。在本论文设计的智能货架上通过人体姿态估计、人脸识别、目标分类等视觉技术与光栅传感器进行联动,实现了无人结算系统。实验结果表面,该无人结算系统在保证精度的情况下,具有硬件成本较低、运算量小、部署灵活、具有一定防盗能力等优点。针对无人便利店场景中商品数量多、迭代快,人工标注商品成本过高等问题,本论文提出了一种半监督的网络训练方法。通过对数据的迭代训练,可以在不需要增加标注数据的情况下提升网络的识别精度,进而大幅度减少了数据标注的工作量。实验结果表明,无论是在公开的标准数据集或工程中采集的手持商品数据中该方法都能够有效地减少网络训练所需要的标注数据。(2)融合人体姿态估计的人与物体交互行为检测的方法研究人体姿态关键点是识别人体动作或行为的重要信息,如果能在检测网络中增加关键点信息就可以提升网络对人与物体交互行为检测的效果。因此,本论文在HO-RCNN网络框架的基础上,提出了两种融入人体姿态关键点信息的方法。通过在图片数据中增加关键点标记,以及在网络中增加关键点与物体检测框的空间位置信息融入关键点信息。实验结果表面,该方法能够有效提高网络的识别精度。