多输入多输出技术(MIMO)可在不增加带宽和发射功率的前提下成倍提高无线通信系统的容量和频谱利用率,已成为当前广泛认同的支持新一代无线通信高速率需求的一项关键技术。而MIMO系统的性能很大程度上取决于发射端信号设计与接收端的检测算法,因此,实现MIMO潜在增益的关键在于为发射端设计优化的信号传输形式,及在接收端设计低复杂度高性能的接收机算法。基于此,本论文在国内外相关研究工作的基础上,针对MIMO系统接收机设计与编码优化进行了深入研究,主要取得了以下研究成果：1.针对一种高性能的增强型MMSE检测(EMMSE)算法复杂度过高问题,提出了两种低复杂度算法。算法1根据矩阵求逆引理采用递推的方法计算加权矩阵,降低了复杂度。算法2采用预处理结合MMSE滤波的方法,在检测符号和计算输出比特对数似然比(LLR)时考虑符号判决误差的影响,并在干扰消除时去掉了判决误差均值,其复杂度相比EMMSE算法大大降低,其性能在低阶调制下与EMMSE算法相近,在高阶调制下优于EMMSE算法。2.提出了一种用于空时比特交织编码调制(MIMO-BICM)系统的低复杂度迭代接收机方案。该方案在第一次迭代中采用线性最小均方误差(MMSE)滤波,而在随后的迭代中采用一种低复杂度MMSE结合软干扰消除(SIC)的算法来抑制残余干扰和噪声。该算法通过将软干扰消除后的残余干扰和噪声的各分量近似为不相关的随机变量,使得在MMSE滤波时不必矩阵求逆,只需一些求倒数运算,不仅大大降低了计算复杂度,而且容易实现。仿真证实该方案可以获得和传统的MMSE结合SIC的方案几乎相同的性能。3.针对迭代树搜索(ITS)检测算法在计算比特LLR时需clipping而造成系统性能下降问题,提出一种新的基于M-算法的软MIMO检测方案(称为路径选择与延伸方案,记为PCE)。该方案通过合适的选取某些删除路径,将这些路径保留并延伸为全长路径,可确保对每一比特都能计算其LLR而不必clipping,并能提供可靠性高的LLR值。文中给出了路径选取的规则及延伸所选路径为全长的低复杂度方法。仿真结果表明所提算法在相同复杂度下相比ITS有更好的性能,因而达到更好的性能与复杂度的折衷。4.提出一种新的基于部分后验概率的软检测方案(记为PAPP)。该方案在树的每一级递推计算部分符号序列的后验概率,并基于此近似计算从第1级到该级的所有比特LLR,再采用M-算法保留部分符号序列延伸至下一级。考虑到某些比特LLR会多次计算,给出了算法的一种低复杂度实现方法。另外,还给出了一种计算符号序列后验概率的简单方法。仿真结果表明该算法在同样的复杂度下性能优于ITS。5.以外信息转移(EXIT)图为工具,研究了MIMO系统中低密度奇偶校验(LDPC)码与基于M-算法的软MIMO检测器的联合设计与优化。首先,给出了基于M-算法的检测器(包括ITS、PCE、PAPP)的EXIT分析。发现由ITS、PCE的输出比特LLR按照蒙特卡罗方法计算得到的外信息转移曲线不是真正的EXIT曲线,并分析了出现这种现象的原因；而对PAPP,可得到其真正的EXIT曲线,进而可用于码的设计。接着,提出一种新的LDPC码度分布优化准则和方法。该算法可使内译码器与外译码器的EXIT曲线很好的匹配,并容易得到满足目标速率要求的LDPC码；同时,该算法能将度优化问题转化为线性优化问题来求解,计算简单,容易实现。仿真结果表明,优化的LDPC编码的方案相比规则LDPC编码的方案性能有很大的提高,表明了所提优化算法的有效性以及联合优化的必要性。