近十多年来,变换光学已成为光学领域最活跃的研究热点之一。变换光学基于空间坐标变换,通过映射电磁参数的分布设计新型的变换光学材料,为控制光的传播提供了强有力的手段。目前,变换光学的方法主要用于设计超材料和超表面,实现隐身、超透镜等应用,而在集成光学芯片方面的研究较少。本论文的研究工作基于变换光学,在集成光学芯片上设计了一些新颖的波导器件,探索了它们的新奇特性,包括等离激元波导、非线性光波导和拓扑光波导等。本论文的主要研究内容包括以下几个方面:1、利用变换光学设计了一维的表面等离激元（SPPs）的光子黑洞,并且在实验上实现了SPPs的纳米聚焦。通过将银微米线固定在银膜上面,实现了渐变的金属/介质/金属的等离激元波导。通过计算发现,等离激元的有效折射率随着中间介质层厚度的减小而增大。借助于变换光学,发现这种渐变波导的有效折射率分布对应于一维黑洞的引力度规。我们从理论上证明了此渐变波导能够实现等离激元的纳米聚焦,在实验上通过荧光成像观测到了明显的光场局域增强。同时,进一步的仿真模拟发现,如果将中间的介质层换成非线性材料,此器件能够增强非线性效应。2、利用共形变换设计了渐变弯曲的非线性光波导,实现了宽带的四波混频过程。通过数学形式为对数的共形变换,将真实物理空间中弯曲的绝缘体上硅（SOI）波导变换到了虚拟空间中的直波导,从而能更便捷地分析弯曲波导的色散性质。仿真模拟发现,不同弯曲半径下的SOI波导支持不同的传播常数,而且调控波导的曲率能改变光子的群速度色散。我们将其应用到四波混频带宽的调控上,设计了弯曲半径渐变的SOI波导并定义了渐变的加速度。数值模拟发现,加速度越大,四波混频的带宽也越宽,因此可以通过改变弯曲波导渐变的加速度任意调控四波混频的带宽大小。这种渐变弯曲波导可用于片上超连续谱的产生和集成光量子芯片。3、利用旋转变换设计了拓扑界面态。在铌酸锂薄膜（LNOI）芯片上设计了一种四组元波导阵列,通过引入两个几何结构参数,并结合布洛赫动量维度,构造出了三维的合成空间,在合成空间获得了外尔点。更进一步地,通过合成空间的旋转变换,首次构造出了由两个独立的外尔系统拼在一起的界面。这个界面能否支持无间隙的拓扑界面态,取决于这两个外尔系统相对的旋转方向:如果它们沿着相反的方向旋转,那么能够产生两种类型的拓扑界面态;反之,如果它们的旋转方向相同,则只会出现平庸的界面态。在实验中,通过线性和非线性光学的方法观测到了这种拓扑界面态。