近年来随着各种无线通信业务和宽带数据业务的不断发展，人们对移动通信质量和传输速率提出了更高的要求，目前无线信道存在的多径衰落、频谱拥挤、噪声干扰多普勒频移等问题大大影响了数据速率的提高。使用多天线技术能够充分利用空间资源，在不增加系统带宽情况下，可有效对抗无线信道衰落和噪声干扰的影响，大大提高系统的频谱利用率和信道容量。正是由于这些优势，目前多天线技术已经成为移动通信研究的热点之一，并将广泛应用于各种移动通信系统中。在此背景下本文研究的主要内容包括满足多天线系统要求的新型天线元和适用于现代通信系统的阵列信号处理技术。 第一部分，首先将蝶形缝隙天线宽频带和弯折缝隙天线尺寸小的优点结合起来，通过在馈电网络中加入由共面波导和槽线构成的单平面180°混合环，同时在优化天线结构的基础上，给出了一种共面波导馈电蝶形弯折缝隙天线形式。其次，在实现小型化，宽频带，以及改善极化纯度和改善方向图方面进行了研究。经电磁仿真及实验测试验证了该天线具有小尺寸，低轮廓，宽频带，方向图稳定等优点。此外还对多天线系统中天线的相关性进行了研究，从输入阻抗匹配，互耦，天线效率，极化方式，天线方向图等几个方面分析了天线设计中影响天线间相关特性的因素。 第二部分，传统的阵列信号处理方法主要集中在对阵列输出的信号处理算法的研究上，为简化计算和处理方便，通常以全向阵元半波长间距的均匀直线阵列模型为基础。考虑到多天线技术在各种应用环境下的实际情况，本文在阵列信号处理方面主要针对非传统的不同阵列流形下的DOA估计方法进行了研究。在对现有DOA估计算法研究的基础上，分析比较了多种算法在不同实际应用情况下的估计性能，如传统MUSIC算法和改进MUSIC算法在不同快拍数、不同信噪比和相干信源情况下分辨能力的比较等。研究了多种不同的阵列流形对于估计算法性能的影响，对Butler多波束天线进行了DOA估计，分析了阵列通道误差对DOA估计算法分辨能力的影响并给出了一种校准方法，利用螺旋阵列提高阵列分辨率并削除天线栅瓣，再结合MUSIC算法实现了二维DOA估计等等。研究了宽带信号DOA估计方法，基于改进MUSIC算法对现有的非相干信号子空间算法(ISM)进行改进使其可以分辨相干信源。