随着人们对无线通信提出越来越高的要求,如何提高多输入多输出（Multiple Input Multiple Output,MIMO）系统的频谱效率逐渐成为了众多学者关注的焦点。研究表明,在MIMO系统中对发射前的信号进行预编码处理能够有效提高系统的传输效率。虽然现有的众多关于MIMO预编码的研究均能为实际应用提供很好的理论支持,但他们都有一个前提条件,即输入为高斯信号。然而,在实际的MIMO系统中,发射信号大多来自有限字符集,直接将基于高斯信号设计的算法应用于实际MIMO系统中会严重影响系统性能。近年来,不断有学者提出一些基于有限字符集输入下的预编码算法,有效提高了MIMO系统的频谱效率,但仍然存在两点不足:第一,需要迭代求解优化问题,难以满足系统实时性要求;第二,只考虑线性的预编码方案,在非线性的预编码方案上仍有较大提升空间。本文主要围绕MIMO系统中有限字符集输入下的预编码展开研究,提出了两种基于神经网络的高效预编码方案,并通过仿真实验与现有预编码算法进行对比。论文的主要研究工作如下:（1）针对当前最优线性预编码算法计算复杂度过高的问题,提出了一种基于神经网络万能逼近特性的预编码算法,该算法主要思路是利用神经网络的逼近特性来实现对最优线性预编码算法的学习,以提高预编码效率。同时,分别针对已知完全信道状态信息（Channel State Information,CSI）和已知统计CSI两种场景设计不同的神经网络模型进行仿真,实验结果表明该算法能够大幅降低预编码时间,且达到与最优线性预编码算法几乎相同的性能,具有不错的实际应用前景。（2）在最优线性预编码算法的基础上,提出了一种基于神经网络的非线性预编码算法,该算法主要思路是利用神经网络的变换特性对信号进行非线性预编码,并通过构造出能够最大化互信息的损失函数来实现高效预编码。实验结果表明,在实信道和复信道下,提出的预编码算法性能均明显优于线性预编码算法。