随着人们对宽带无线通信需求的不断增加,宽带无线通信向更高速率、更大的覆盖范围、更好的移动性方向发展。WiMAX (Worldwide Interoperability for Microwave Access)技术的出现正好满足了人们对于无线通信的需求。OFDM系统应用到WiMAX网络,结合了无线通信和互联网的特点,适应了市场和科技发展的趋势,成为下一代无线通信网络的关键技术。无线网状网的研究存在于无线局域网(IEEE 802.11s)和无线城域网(IEEE 802.16)中。无线网状网是在移动自组织网络(Mobile Ad Hoc Networks, MANET)和无线局域网(Wireless Local Area Networks, WLAN)结合的基础上逐渐发展起来的一种新的网络技术。本文侧重于对无线网状网OFDM系统中WiMAX物理层信号传输新算法的分析和研究,主要包括基于最小均方误差(Minimum Mean Square Error, MMSE)的空分多址与正交频分复用(Space Division Multiple Access-Orthogonal Frequency Division Multiplexing, SDMA-OFDM)系统信道估计,导频辅助的信道传输函数研究,以及多用户单一传输天线场景下使用多输入多输出系统(MIMO)结构研究。本文主要创新工作包括：1)研究了基于导频辅助(Pilot-Assisted)、决策指导(Decision-Directed, DD)以及盲信道估计(Blind Channel Estimation, BCE)的分类分析技术。研究了导频辅助的信道传递函数估计算法,利用接收端特定导频信号可用子载波的一个子集,对特定信道传递函数进行采样。本文研究了使用差值方法来产生导频间每个子载波的传输函数估计方法,提高了信道估计的准确度并降低了原有算法的复杂度。2)基于联合迭代信道估计方法提出了一个更先进的SDMA-OFDM系统信道估计方法,即遗传算法辅助的联合迭代算法与多用户检测算法(Genetic Algorithm-Aided Iterative Joint Channel Estimation and Multi-User Detection GA-JCEMUD)。该算法能有效地解决多用户信道估计的问题。3)针对六角形导频、虚拟六角形导频、矩形导频及虚拟矩形导频提出了一种新的笛卡尔数学分析方法。它引入循环前缀来解决符号间干扰并在信道估计中针对两个不同进程提出了二维维纳滤波器的实现方法。这里的核心工作是对导频模式和有蜂窝网络支持的六角形分布式导频进行分析比较。本文在基于遗传算法的迭代联合信道估计和多用户探测方案(GA-JCEMUD)中,通过初始频域信道传递函数(Frequency Domain CHannel Transfer Function,FD-CHTF)估计和初始符号估计来处理种群,能够有效地支持不断增长的用户数目。由于该算法提出的软输出的方法,解决了信道估计和多用户干扰的难题,在给出接收信号和信道状态信息的条件下,计算出具有较高传输概率的候选向量。六角形导频模式是一个最佳范例,它与代表相同信号的矩形导频模型相比降低了13.3%的样本,并使误码率性能得到了改善。对多路散射干扰效应的分析和所提六角形导频模式方案对抗干扰效应的有效性分析,利用数学理论进行仿真,得到的结果证明了该设计的性能优于矩形和其它形式的导频模式。因此,通过使用上述方法,得到了WiMAX的物理层的OFDM符号在信道模型下进行信道估计的仿真结果,从而得到了系统性能的改善。