移动通信技术的飞速发展引领了新型业务的出现和繁荣发展。尤其随着虚拟现实、自动驾驶、万物互联等概念的兴起,人们对通信服务质量提出了更高的需求。未来网络面临系统容量、用户体验速率、传输时延和资源紧缺等多方面的压力。毫米波以工作在30 GHz-300 GHz频段极大地丰富了频谱资源、缓解了移动通信系统中频谱资源短缺带来的挑战。而大规模天线技术以大规模天线阵列使用户获取高波束赋形增益,弥补毫米波信号高路径损耗的缺点。非正交多址接入技术（Non-Orthogonal Multiple Access,NOMA）通过引入一个新的维度——功率域实现多址接入,多个用户可以共享相同正交资源。在毫米波大规模天线系统中引入NOMA技术可进一步提高系统用户接入量和资源利用率。因此,毫米波大规模天线NOMA系统是未来移动通信网络重要的技术方案。本论文选题来源于企业科研合作项目——《5G无线空口关键技术研究》。移动通信系统中无线资源的匮乏决定了资源分配在优化系统性能方面的重要性。如何高效地利用宝贵的无线资源来更好地满足用户各类数据业务的需求,是未来移动通信系统主要考虑的问题。本论文着重研究毫米波大规模天线NOMA系统中的无线资源分配问题,分别提出了系统能效优化的波束和功率联合分配算法、用户公平性保证的波束和功率联合分配算法。论文主要工作内容如下:1)论文阐述了毫米波、大规模天线和NOMA技术的基本概念和技术特征以及毫米波大规模天线NOMA系统的优势及挑战,并梳理了无线资源分配相关研究内容和毫米波大规模天线NOMA系统中无线资源分配研究现状,为后续研究打下基础。2)针对优化毫米波大规模天线NOMA系统能量效率的问题,提出了一种系统能效优化的波束和功率分配算法。在毫米波大规模天线NOMA系统中构建了以系统能效最大化为目标且保证用户服务质量（Quality of Service,QoS）的优化问题。为解决该优化问题,提出了一种低复杂度次优联合交替迭代算法。首先基于稳定匹配提出一种低复杂度的波束分配算法;之后联合分式规划和序列凸近似技术求解非凸的功率分配问题;最后基于联合交替迭代的框架,交替迭代波束和功率分配得到原始优化问题的解。仿真结果表明:所提的联合交替迭代的低复杂度算法具有有效性和优越性。此外,在大规模接入场景中毫米波大规模天线NOMA系统的能效性能优于毫米波大规模天线OMA系统。3)针对保证毫米波大规模天线NOMA系统用户公平性的问题,提出了一种用户公平性保证的波束和功率分配算法。在毫米波大规模天线NOMA系统中构建了以提高用户公平性为目标且保证用户QoS的动态资源分配优化问题,旨在追求用户长期的公平性。为解决该优化问题,提出一种基于深度Q网络（Deep Q Network,DQN）的波束和功率分配（Deep Q Network-Joint Beam and Power Allocation,DQN-JBPA）算法。由于该优化问题的动态特性以及组合复杂性,本文根据DQN算法设计应用于本文应用场景的动态资源分配模型及实现流程,进而求解优化问题。仿真结果表明:本文所提出DQN-JBPA算法具有有效性和优越性,且NOMA技术可以提高用户间公平性。