通信技术的快速发展使得人类对信息传输容量的需求迅速增加。由于传统的集成电路芯片无法突破电容电感效应的壁垒,已经逐步偏离摩尔定律,无法满足快速增长的传输容量需求。而光信息传输具有带宽大和损耗低等优点,光子芯片可将分立的光元器件集成在同一衬底,具有结构紧凑、功能多和功耗低等优点。随着光集成芯片功能与复杂度的不断提高,在有限的芯片面积上,二维平面光子器件集成的瓶颈日益凸显。三维集成在有效提高集成度的同时,可避免芯片尺寸的持续增大,特别是模式复用技术与三维光子集成的结合,可进一步提高光信号处理能力和传输带宽。模式复用技术利用多模光纤达到增加传递信息容量的目的,而利用波导光子芯片实现对模式信号的复用/解复用和光交叉连接,则是模分复用系统中的重要功能。在现有二维片上模式复用技术基础上,可构建三维波导模式复用系统,在更小的面积上增加模式通道数,增大信息传输容量。本文以核心单元器件,即三维光模式耦合/交叉器（用于系统中单模传输）、三维光模式复用/解复用器（单模-多模/多模-单模转换）和光开关（复用/解复用器间光交叉连接）作为研究对象,完成了以下主要工作:（1）介绍了集成光学与模分复用技术的研究背景与意义,阐述了硅基光波导的分析理论,详细说明了波导模式的概念与模式耦合原理。（2）为解决三维光子集成中不同波导层单模与单模之间光能量传输与交换问题,基于模式耦合原理,设计了硅波导三维光耦合器与光交叉器。三维光耦合器长度为7.3μm,耦合效率可达99.7%,能够实现不同波导层之间单模光信号的低损耗耦合。设计了函数型与椭圆型两种三维光交叉器,二者长宽均小于20μm,在1550 nm波长下,函数型三维光交叉器的串扰为-59.7 d B,椭圆型三维光交叉器的串扰为-57.8 d B。（3）设计了硅基光波导三维模式复用器。通过上层多模波导与下层单模波导的折射率匹配,实现了TE11模式到TE11、TE12、TE21、TE31和TE22模式的转换,除TE22外,其余模式的转换效率均大于87%,高阶模TE22转换效率为57%,理论上证明了三维硅基模式复用的可行性。（4）在模式复用系统中,光开关是实现模式信号路由的重要单元器件,它的各项指标直接决定了光交换网络的性能。本文利用多模干涉和马赫则德尔干涉仪（MMI-MZI）结构,设计了基于载流子色散效应的2×2光开关,针对MZI两分支臂采用推挽调制方式,仿真结果表明,开关串扰小于-27 d B,传输损耗约为1 d B;通过PIP掺杂和热光效应调整初始相位,解决由于工艺误差引入的两臂相位不平衡问题。利用该开关单元构建的Benes型开关阵列,各通道串扰小于-25d B,传输损耗约为3 d B。