本文研究了正交频分复用(orthogonal frequency division multiplex，OFDM)系统中的双选衰落信道估计问题。随着无线通信技术的飞速发展，应用场景愈发复杂，常常会出现传统估计方法难以适用的情况。当今的移动通信系统中，无线信道通常会随时间而变化，该情形下系统必须建模为时变系统，该模型的冲激响应还应取决于时间。针对由此带来的全新技术挑战，本文分析了双选衰落信道的特性，对信道快时变和稀疏特性展开研究，提高信道估计准确度。其中基扩展模型(Basis Expansion Model，BEM)被广泛应用于时变信道估计，该方法采用一组基函数的线性组合来描述一定时间内的时变信道，减少表征信道未知量的数量，有效降低了复杂度。本文以通用系数的基扩展模型对信道建模。　　又考虑到许多信号具有稀疏性，大多数采样值均为零，或在某一组基上有稀疏表达。以高采样率采样信号不仅造成很大的资源浪费，同时也给后续的存储、处理带来不便。因此本文引入压缩感知(Compressed sensing，CS)理论观测稀疏信号，打破传统采样定理的限制，以远低于传统方法的采样率无损地恢复原始信号。在此基础上，结合稀疏信号非零项成簇出现的特性，由信道系数的稀疏表示引入组稀疏概念，运用组稀疏压缩感知(Group Sparse Compressed Sensing，GSCS)方法测量、重构信号。本文提出了一种结合GSCS的改进优化方法，提高了组稀疏估计方法的性能，并通过仿真证明了改进方法的优越性。将上述方法运用到多输入多输出(Multi-input Multi-output，MIMO)系统中也具有一定的性能提升。　　最后由稀疏信道估计中导频位置的重要作用，本文通过构建更好满足约束等距性(Restricted Isometry Property，RIP)的测量矩阵来设计最优导频模式以提高CSI恢复概率。通过评估测量矩阵的互相关性，互相关性越小，感知矩阵满足RIP越好。最优的做法是详尽地搜索所有可能的导频模式以寻得最佳的测量矩阵。然而，对于实际OFDM系统中给定数量的子载波和导频，这在计算量上上是不现实的。因此，当总子载波数目和导频数目确定时，搜索次优导频模式才是切实可行的有效方法。本文利用组稀疏更小的搜索空间，结合分布估计算法的高鲁棒性，对传统的GSCS导频放置模式进行改进，针对组稀疏算法优化导频位置，提高其重构水平，最后通过仿真证明该算法有更好的性能。