衍射特性是光波重要物理属性之一。受衍射影响，传统光学方法难以在亚波长尺度下操控光波的传输、聚焦和成像。随着现代科学技术发展，光电子器件、显微、光学光刻、光存储等领域不断向更小尺寸、更高分辨力、更高密度方向发展。然而，传统光学系统分辨力的衍射受限问题，成为现代光学系统空间分辨力提升的原理性障碍。近年来，一系列新奇光学现象研究表明，表面等离子体（Surfaceplasmon，SP）具有短波长传输、倏逝波耦合放大等独特光学特性，为超衍射光传输和成像研究提供了重要契机。本论文从亚波长结构下SP激发、耦合等行为规律研究出发，系统开展了基于SP的超衍射光波传输、超分辨成像原理方法、相关数理模型、材料和器件设计、制备和实验等方面研究工作。主要研究成果有：1、在基尔霍夫衍射理论框架的基础上，通过研究亚波长狭缝－沟槽结构的SP模式激发行为，建立了突破狭缝口径限制的超衍射光辐射改进数理模型，模型准确性得到了数值计算和实验结果的验证。在此基础上，研究得到狭缝－沟槽结构对异常衍射行为的影响机理和规律。2、理论和实验研究分析了光波在金属介质膜层材料中的超衍射传输行为规律，实验验证了材料中光场能量的定向耦合传输特性。对比分析了等效介质理论、RCWA分析、有限元等不同电磁计算分析方法的差异，为研究超分辨成像提供了超衍射材料和分析方法基础。3、研究分析了金属介质膜层材料的SP激发共振和倏逝波放大特性，推导得到其模式色散公式。在此基础上，将超透镜（Superlens）拓展到各向异性结构形式，建立了更具普适性的超透镜成像模型。4、基于光波在金属介质膜层材料中定向耦合传输特性，建立了SP定向传输成像理论模型，将SP透镜成像条件拓展到非匹配材料情形，推导了成像传函解析公式，对比分析了五类基于金属介质薄膜材料的超分辨成像方法优劣。5、利用金属光栅薄膜结构激发和倏逝波放大特性，提出了一种可实现大视场的远场超分辨成像方法，通过简化的数理模型分析和计算，获得了最小线宽45nm（约1/8波长）的成像分辨力。6、提出了反射共振型超透镜成像光刻结构，研究分析了反射sp透镜对成像光场对比度和焦深增强特性。在i线汞灯光源照明条件下（中心波长365nm），获得验证性纳米图形光刻实验结果，其中密集线条光刻图形最小线宽达到约30nm（约1/12波长）。