增强现实的一个重要目标是实现用户与虚拟信息之间直接自然的交互。本文的研究针对人手直接与虚拟场景发生自然三维交互的需求,在增强现实的理论框架下延伸三维注册内涵,实时注册真实空间中交互主体的三维形体数据,从而实现虚拟物体与真实物体的空间一致性渲染；实时跟踪重建交互主体的三维结构,从而实现交互主体与虚拟场景间直接自然的操作型手势交互。主要研究内容包含以下几点：(1)基于计算机视觉原理,解决增强现实的深度一致性问题。本文基于多视几何,提出一种获取增强现实场景在运动视点下虚拟对象与真实对象之间正确的三维位置关系的有效方法；从而实现增强现实环境下,操作型手势的实时交互过程中,虚拟与真实对象间深度一致的场景渲染。(2)对相机注册、扩展跟踪注册和三维空间前景注册进行系统分析,发展三维注册内涵,将虚拟与真实世界间的深度一致性问题合并到三维注册的研究范畴中。另外,本文还提出一种适合桌面交互环境的鲁棒的相机位姿扩展跟踪方法。(3)提出一套针对不佩戴任何标记的人手的区域检测跟踪、特征点提取和三维稀疏结构重建算法。本文基于重建结果提出指尖、指向以及手掌平面等基本操作型手势交互的三维交互模式,进而将从真实世界提取的三维交互信息对齐到虚拟世界,融合渲染并触发交互,从而实现空间一致的操作型手势自然交互。另外,我们基于多线索特征流的思想运用了一种多线索自然手势跟踪方法,基于该方法实现了多点跟踪的模仿型手势三维交互。(4)基于普通PC环境,实现了增强现实环境下基于手势的自然交互系统,作为平台验证本文的算法思想与交互模式。本文基于此平台实现了若干手势自然交互的应用实例,并对系统各个模块采用的算法进行比较与分析。为后续研究与开发提供支持。