移动互联网和物联网技术的蓬勃发展为人们带来了更便利的生活,同时也对新一代5G通信提出了更多挑战。为应对5G海量流量和频带资源匮乏带来的挑战,寻求更高频谱效率的关键技术至关重要。而NOMA(Non-Orthogonal Multiple Access,非正交多址接入)和MIMO(Multiple Input Multiple Output,多入多出)技术作为5G及未来移动通信的关键技术,能在不增加额外带宽的情形下,通过功率域和空域的复用带来更高频谱效率。基于此,NOMA与MIMO技术的结合可以成倍提高频谱效率,实现海量多终端接入及大容量无线传输。MIMO-NOMA系统中多个用户在同一时频资源块上进行功率域非正交叠加传输,同一时频资源块上的用户之间存在较强的用户间干扰问题,因此不同的用户分簇方法对系统性能有较大影响。同时,MIMO-NOMA系统的接收端通过串行干扰消除(Serial Interference Cancellation,SIC)接收机进行解调,解调顺序取决于接收用户的发送功率,如何分配功率使得既能达到接收机的判决条件又能使用户服务质量得到保障还需要进一步的研究。基于此,本文围绕MIMO-NOMA系统中的关键技术展开研究,主要研究内容如下:(1)推导了MIMO-NOMA系统中的信号传输及处理过程,重点分析了信号在MIMO-NOMA系统上/下行链路中的传输差异。通过分别分析信号在系统上/下行链路中的传输过程,推导了影响下行系统性能的波束赋形矩阵设计和检测矢量设计,并归纳了上行系统中发送端功率控制技术的要点。(2)研究了MIMO-NOMA下行系统中的用户分簇算法。首先对各经典用户分簇算法进行详细阐述并通过仿真分析了每种算法的优缺点。其次引入Jain公平性指数用于衡量系统中的用户公平性,并以用户公平性的保证为目标提出了一种改进的MIMO-NOMA用户动态分簇算法。仿真表明,所提MIMO-NOMA动态用户算法可在兼顾用户公平性的前提下进一步提高系统吞吐量性能。(3)研究了MIMO-NOMA下行系统中的用户功率分配算法。首先通过仿真实验分析了各经典用户功率分配算法的优缺点。其次将最大化最小用户SINR作为优化目标进行了同簇用户的功率分配算法研究,针对目标函数为非凸优化的问题,对其进行拟凸优化问题的转换,并提出了一种简便的二分法算法求得次优解。在此过程中,采用递归方式推导了保证用户QoS(Quality of Service,服务质量)时,系统中每个用户的功率分配因子需要满足的条件,并在实验中应用这些条件保证了用户公平性,同时也缩小了所提优化算法的查找范围。仿真表明,所提算法可在保证用户QoS的前提下有效提升用户公平性。