由于空心光束具有一系列重要而独特的物理性质,可以应用于原子分子光学、激光光学、光信息处理、材料科学、生物医学等许多领域,因此,空心光束的产生及其应用研究不仅有着重要的科学意义,而且还有着广阔的应用前景。近几年,有关空心光束的产生及应用研究得到了快速的发展,本文第一章首先简单介绍了空心光束产生的基本原理、实验结果及其最新进展,为本文研究的全光型冷分子存储环提供理论依据。本文第二章提出了采用空心光束实现冷分子囚禁的全光型存储环新方案,开展了相应的理论研究,并就冷分子在存储环中的囚禁动力学过程进行了Monte-Carlo模拟。空心光束通过环状柱面透镜时发生衍射,并在焦点附近形成圆形三维光阱。利用该光阱可以实现中性分子的光学囚禁。利用衍射光学的知识,我们数值计算了空心光束经过环状柱面透镜衍射后的光场分布,计算结果发现最大光学势不足以实现冷分子的光学囚禁。为此,我们采用腔增强的方法来增强光学存储环对冷分子的光学势,重新计算了腔内柱面透镜环焦点附近的光场分布,并选择碘分子作为研究对象,发现此时形成的圆形三维光阱的最大光学势足够用来囚禁冷分子。最后,对碘分子运动的动力学过程进行了Monte-Carlo模拟,结果表明我们的增强型光学存储环方案可以用于囚禁冷分子,实现冷分子在环中的多次绕行。本文第三章提出了采用芯片表面上圆环狭缝衍射实现冷分子囚禁的全光型存储环新方案,并开展了相应的理论研究和Monte-Carlo模拟。类似地,运用衍射光学的理论计算了芯片上方形成的环状三维光阱的光场分布,并以碘分子为例,计算了相应的光学势分布。研究发现这种方案产生的光学势比较小,仅能囚禁冷到衅量级的冷分子。第四章就本文的主要研究工作及其结果进行了总结,并就未来的研究工作进行了简短展望。