随着第五代（5G,5th Generation）移动通信系统的商用,5G开始为社会提供更高效的服务,跟随5G所研发的服务逐渐增多。近年来,人工智能技术的快速发展逐渐显示出了强大的能力,传统行业也在应用各种人工智能技术来提升效率。在通信算法中,有着许多高性能的算法,如大规模MIMO中基于预编码的相关优化算法,但其复杂度高,难以在实际系统中部署。因此,如何降低现有算法的复杂度也逐渐受到关注。人工智能技术凭借其强大的学习能力,可以为5G中的通信算法提供支持,降低算法复杂度,有利于实际应用。此外,5G功耗急剧增加以及涉及的服务种类繁多,对通信系统的资源优化也越来越受到研究者和运营商的重视。面对多种服务以及对系统性能的高要求,必须兼顾多目标的服务质量与资源分配情况,顾全整体的服务质量与系统能效。多目标优化技术在系统的整体优化上也受到了研究者的广泛关注,其中求解多目标的最优折中问题与快速探寻多目标Pareto边界的问题成为了研究重点。本文主要研究了大规模MIMO系统预编码及多目标优化相关技术。首先论文介绍了移动通信系统建模的理论基础,如无线信道的特性,包括大尺度衰落、小尺度衰落的统计模型,为本文的信道建模做准备。并介绍了大规模MIMO技术,主要分为集中式大规模MIMO系统与分布式大规模MIMO系统,还有系统中常用的预编码技术,并通过仿真对比了不同系统下两类常用预编码的频谱效率和能量效率。接着,论文根据分布式大规模MIMO系统中现有的稀疏预编码算法,提出了使用深度学习来对稀疏预编码结果的特征进行学习。通过神经网络的输出对RAU进行预分簇,排除不可能激活的RAU,在RAU预分簇的结果上再进行稀疏预编码算法,减少稀疏预编码中的变量,减少算法复杂度。文中给出了基于深度学习进行RAU预分簇的算法结构,并通过仿真给出了训练结果,验证了深度学习预分簇的可行性,并分析了结果和优化方向。然后论文研究了全双工分布式大规模MIMO系统中多目标的优化问题。考虑到复杂的通信系统不仅仅服务一种需求的用户,仅优化单目标会造成其他系统性能劣化。采用基于加权切比雪夫的方法,可以同时对最小化RAU发射功率与最小化用户发射功率这两个相冲突的目标进行折中优化。并通过仿真分析了全双工分布式大规模MIMO系统与全双工集中式大规模MIMO系统之间的性能差异,以及不同天线数带来的变化。最后利用最新的开源遗传算法框架,研究了集中式大规模MIMO系统的多目标优化问题。复杂的移动通信系统不能再仅考虑单一优化目标,应将整体的多目标进行同时优化。遗传算法作为一种成熟高效的算法,已被应用于不同研究领域。并有针对多目标优化的特定算法,可以快速给出多目标的Pareto边界图。我们选用NSGA-Ⅱ和NSGA-Ⅲ这两种多目标优化算法作为问题的求解算法。同时介绍了模糊逻辑推断系统,给出结合模糊逻辑推断在多目标优化中实现资源分配的框架。最后通过仿真研究了NSGA-Ⅱ和NSGA-Ⅲ两种算法性能和表现。