利用中继节点进行协作式通信具有拓展通信范围、弥补路径损耗以及对抗多径衰落等优点,不过这些优点的获得均是以消耗系统额外正交资源（时间、频率或正交码字）为代价。相比于现阶段所采用的正交多址接入结构,非正交多址接入（NOMA）结构将功率域编码引入到多址技术中,并与传统正交资源相融合,打破了用户资源块间相互正交的限制,有效提升了无线通信系统的频谱效率。因此,如何通过NOMA提升协作式通信系统的资源效率引起了研究人员的广泛关注。本文聚焦协作式NOMA系统的理论性能分析和优化算法设计两方面问题,分别基于用户协作式和专用中继协作式传输结构设计协作式NOMA通信系统模型,在对模型中用户的错误率、中断概率、吞吐量以及数据率等物理层关键性能指标进行详细推导分析的基础上,分别从功率分配、波束成形以及用户分簇等方面设计优化算法,实现了对协作式NOMA系统频谱效率的提升。本文创新点总结如下:针对协作式NOMA系统中用户错误率性能未知的问题,推导得到了Nakagamim衰落信道下两用户NOMA系统及两用户协作式NOMA系统中用户的误码率表达式,揭示了用户功率分配系数与错误率性能之间的规律。首先,构建了两用户NOMA系统模型,并通过星座图空间分析的方法推导得到了加性高斯白噪声（AWGN）信道下用户的误码率表达式;其次,基于矩母函数法推导得到了Nakagami-m衰落信道下两用户NOMA系统中用户的误码率表达式,并在该信道环境下对基于正交频分多址（OFDM）的NOMA系统的误码率性能进行分析;最后,构建了两用户协作式NOMA系统模型,并在接收端采用最大比例结合的方法对直传信号以及协作信号进行处理,从而推导得到了Nakagami-m衰落信道下两用户协作式NOMA系统中用户的误码率表达式。仿真结果表明,在用户误码率性能方面,OFDM-NOMA系统以及协作式NOMA系统要明显优于传统NOMA系统。在同相/正交信号之间失衡（I/Q失衡）和信道估计误差（CEE）这两方面不利因素影响下推导得到了中继协作式NOMA系统中用户中断概率及遍历性数据率表达式,揭示了I/Q失衡程度与用户中断概率以及遍历性数据率之间的规律。首先,从半双工/全双工（HD/FD）中继两个角度构建了I/Q失衡和CEE联合影响下的协作式NOMA系统模型;其次,对模型中用户中断概率和遍历性数据率表达式进行了详细地推导,为分析I/Q失衡和CEE对协作式NOMA系统性能的影响提供了理论依据。仿真结果从定量分析的角度展示了多种I/Q失衡和CEE联合影响下协作式NOMA系统中用户的中断概率以及遍历性数据率性能,验证了所推导表达式的正确性。此外,仿真结果还表明,在中断概率及遍历性数据率性能两方面,基于FD的协作式NOMA系统不仅要优于基于FD的协作式正交多址接入（OMA）系统,且在低信噪比条件下也要优于基于HD的协作式NOMA系统。针对小区边缘用户中断性能较差的问题,提出了一种基于动态无线携能通信（DSWIPT）的协作式NOMA结构（DSWIPT NOMA）并设计了基于内点法的时间、功率分配系数优化算法,以提升边缘用户中断概率及系统总吞吐量性能。首先,从已有无线携能通信（SWIPT）协议中时间、功率分配系数灵活可变的角度出发,提出了DSWIPT NOMA系统模型,其中近端用户可通过DSWIPT协议动态解决信号接收、能量存储以及协助远端用户通信三种模式之间的能量配比问题;其次,推导得到了DSWIPT NOMA系统中远近两用户的中断概率和分集增益表达式,为分析DSWIPT NOMA系统中断概率以及吞吐量性能奠定了理论基础;最后,为得到DSWIPT协议中最优的时间、功率分配系数,设计DSWIPT NOMA系统总吞吐量优化问题,并提出了一种基于内点法的时间、功率分配系数优化算法以使DSWIPT NOMA系统的总吞吐量最大。仿真结果表明,DSWIPT NOMA结构及其优化算法相比于已有结构能够进一步改善远端用户中断性能及系统总吞吐量。在基于波束成形的多用户中继协作式NOMA系统中,针对用户功率分配值以及中继波束成形矩阵联合优化问题,提出了一种功率分配和波束成形矩阵联合优化NOMA算法（JPBO NOMA）。首先,构建了基于HD放大转发（AF）中继的协作式NOMA系统模型,并基于该模型构造一系统权重总数据率（WSR）优化问题;其次,将原始（非凸）优化问题分解为波束成形矩阵和功率分配两个子优化问题,并分别通过连续凸逼近算法（SCA）和拉格朗日乘子算法（LM）完成了对两子问题的求解,两个子算法相互迭代从而构成所提出的JPBO NOMA算法。仿真结果表明,相比于已有的联合优化算法,所提出的JPBO NOMA算法在系统WSR以及算法收敛性两方面具备更优的性能。另一方面,当用户数目较多时,需要对多用户进行配对分簇处理,遂提出了一种用户分簇算法。首先构建了毫米波波束空间多输入多输出NOMA系统模型;其次,基于用户分类和波束选择两个层面提出了用户均匀波束选择算法,实现了对多用户的分簇。仿真结果表明,相比于已有的用户波束选择算法,所提出的均匀波束选择算法在用户端解码复杂度以及系统总数据率性能等方面具备更优的性能。