随着信息量的爆炸式增长,如何提高信息的传输容量,成为了一个亟待解决的科学问题。光纤通信是目前实现高速信息传输的重要手段之一。单模光纤的数据传输速率已达极限;利用多模光纤中不同模式间的正交性,可实现模分复用,进而提高信道容量。如何实现多模光纤中高阶模式的激发,成为了光纤模分复用需要解决的关键技术。超表面作为一种新兴电磁材料,具有轻薄、易加工等优点;并且其单元结构可灵活设计,已被广泛用于对电磁波的相位、幅度等物理特征的调控。本论文首先对现有模分复用技术进行了总结,提出了利用介质超表面结构激发光纤中的高阶模式的方法,利用深度学习方法设计了超表面的单元结构及阵列排布,并进行了仿真验证。主要研究工作及研究成果介绍如下:第一,介绍了光纤的模分复用在光通信中提高信道容量的重要意义,并总结了现有模分复用方案的不足。第二,针对已有的模分复用方案的不足,提出了一种利用超表面实现光纤模分复用的方案,并论证了方案的可行性以及优点。第三,分析了突变相位型和传输相位型超表面在实现模分复用工作中的可行性,确定了使用传输相位型超表面完成课题。第四,针对超表面纳米结构的反向设计问题,训练了深度学习GAN网络（生成对抗网络）,网络收敛后设计出了符合要求的超表面纳米结构。最终,对光纤以及设计的超表面结构进行了整体仿真验证,成功实现了光纤中的模分复用。