高速发展的通信技术对信息传输速率和频谱利用率提出了越来越高的要求，MIMO技术在不增加发射功率的条件下可以成倍的增加频谱利用率，因此得到广泛的应用。复杂的无线信道使MIMO信号的有效传输受到极大限制，预编码技术能够补偿信道造成的衰落，使信号传输与通信信道更加匹配。设计高性能、低复杂度的预编码矩阵成为MIMO通信技术的关键问题，值得关注。该论文针对MIMO系统的预编码技术进行研究，根据迫零（ZF）准则、最小均方误差（MMSE）准则、最大容量准则等进行设计，力求在MIMO系统的误码性能、系统容量等方面做出改进。文章主要工作包括：①从ZF准则出发，研究了信道逆转（CI）、选择性信道逆转（SCI）、相关旋转（CR）以及收发端联合优化的线性预编码技术。针对ZF准则放大噪声的缺点，设计了基于MMSE准则的SCI算法、CR算法。根据信道间的干扰信号的特点，提出了结合CR思想的收发端联合优化算法，并给出了信道状态信息不完美时各个线性预编码算法的设计方法。仿真结果表明：设计算法误码性能具有明显的优势。②研究基于信道分解的预编码技术，给出了奇异值分解技术（SVD）、几何均值分解（GMD）技术和均匀信道分解（UCD）技术的设计方法。针对GMD（UCD）算法没有利用干扰信号能量的缺点，设计了利用信道干扰信息的GMD（UCD）算法。仿真结果表明：该设计方法能够显著提高系统误码性能2dB左右。③针对线性预编码存在误差传输效应和容量损失大的缺点，研究非线性Tomlinson-Harashima预编码（THP）技术。分析影响THP系统误码性能的因素，研究了三种误码性能改进方法：结合分集编码技术、结合功率分配技术、结合GMD分解技术。分析影响THP系统容量的因素，并给出了MMSE-THP系统信道容量的计算方法，以及信道状态信息不完美状态下ZF-THP和MMSE-THP系统容量的计算公式。针对造成THP容量的损失原因，设计了最大容量准则下结合波束成形的MMSE-THP系统，并通过理论分析和仿真结果进行了验证。