天线是电磁波的收发转置，其性能需要足够的尺寸作保证。在空间受限的通信系统中，天线由于尺寸的原因无法满足设计的指标要求，成为无线通信设备体积进一步减小的“瓶颈”。本文以天线设计的视角，探索并总结了面向天线小型化设计的多模谐振器理论。该理论的核心思想为：在不增加原有天线尺寸的前提下，通过构造基于原有天线结构的其他模式，提高原有天线的性能，如带宽、频带数、频谱效率等。与传统小型天线设计方案相比，增加了“模式”资源作为新的设计自由度，有效地实现了天线尺寸的缩小以及性能的提高。研究成果可以广泛应用于小型移动终端、基站以及毫米波天线阵列的天线设计中。在小型移动终端天线设计领域，本文通过构造天线单元的多个模式，利用模式间的耦合和切换实现天线的多频带和小型化。本文首先提出了一种馈电点切换的四频IFA手机天线，构造两种匹配的IFA模式，在原有尺寸下实现多频的覆盖；为了进一步增加覆盖的频带数目和减小天线的尺寸，本文采用了一种短路点切换的七频环天线方案；在此基础上，为了改进环天线的辐射效率，本文提出了一种“环-IFA”七频手机天线，尺寸仅为5560mm3。最后，基于广义多模谐振器的思想，本文提出了离散模式和连续模式的宽带匹配网络，实现天线尺寸的缩小。在基站天线设计领域，本文通过构造两种正交极化模式，在空间受限系统中实现两种极化的高隔离度。首先，本文提出了一种平面双极化槽天线，实现采用同一馈电结构激励同一辐射单元的两个正交极化；为了减小天线的尺寸，我们采用环天线代替槽天线；其次，本文采用3-D的设计结构，提出了基于CPW的双极化方案，实现了天线尺寸的进一步缩小；在此基础上，提出了“槽-单极子”双极化天线方案，提高了两种极化模式的隔离度；最后针对水平全向覆盖的需求，本文提出了一种“双槽”细柱形天线，在天线小型化和高隔离度的基础上实现了双极化的水平全向覆盖。在毫米波天线阵列领域，本文基于两种圆极化模式耦合的设计思想，设计了一种“槽-贴片”的宽带圆极化天线单元。同时研究了该天线单元在组阵时产生耦合的机理，提出了天线单元间的隔离方案。最后实现了一种工作于60GHz、基于LTCC工艺、介质集成波导同相馈电的44圆极化天线阵列。