在无线系统中，通过在发送端和接收端采用多个天线形成的多输入多输出模型能显著提高无线信道的容量，已经成为下一代移动通信系统的必然选择。但是如何设计实际的发送/接收系统，使得数据传输率达到信道容量，仍是一个有待解决的公开问题。实际收发系统涉及到信道编码、调制、空时处理、智能天线、信道估计与均衡、符号检测、多用户复用等多项技术，是一个复杂的系统。本文对无线收发系统进行系统研究，重点研究发送系统中的多用户调制问题和接收系统中的信道盲均衡、符号检测问题。论文主要工作如下： 1.针对多用户MIMO-OFDM系统的子载波和比特分配问题，提出了一种简单的基于各个用户信道矩阵最大特征值的子载波和比特分配算法，仿真结果表明该算法可以充分利用多用户分集增量，取得较好的系统性能。提出一种基于子载波分组的简化算法。仿真结果表明，简化算法在基本不影响性能的前提下，降低了复杂度。 2.在传统循环平稳信号DOA(DirectionofArrival)估计算法的基础上，提出一种基于循环平稳特性的新的伪快拍构造法，给出了基于该伪快拍的DOA估计算法的理论分析和仿真结果。新算法在接收天线阵元数相同情况下，能检测到更多目标信号，检测到的信号数可以达到传统算法的2倍；同时有较好的准确性，特别在低信噪比情况下性能明显优于传统算法。 3.提出一种逼近最大似然检测的球约束算法。该算法把搜索空间球约束下的最大似然检测问题转化成一个约束优化问题，证明了局部最小点和全局最小点的存在性。并给出一种基于梯度下降的搜索方法求解最优解。仿真结果显示该算法性能明显优于线性检测器。 4.提出一种新的基于信号盲分离的盲信道均衡算法。采用自然梯度算法作为均衡器的自适应调整算法。针对均衡器输出不同复杂度的期望星座图，提出一种分级聚类的算法，即对于复杂度较高的期望星座图，先进行一次或多次的初级聚类，对均衡器输出的星座图逐步细化，最终聚类到期望的星座图上。仿真结果显示本文算法较传统算法明显提高了收敛速度。