物联网（Internet of Things,Io T）和多媒体业务的兴起给未来无线网络带来诸多挑战,例如:更高的频谱效率、更高的可靠性、更低的切换延迟以及广域覆盖等。非正交多址接入（Non-Orthogonal Multiple Access,NOMA）允许多用户共享相同的无线电资源,可实现大连接和出色的频谱效率性能。因此,NOMA作为重要的使能技术之一,能够满足未来通信业务的高频谱效率需求,引起了业界和学术界的广泛关注。除高频谱效率外,广域覆盖也是包括星地通信、应急救援通信以及异构网络在内的一些实际应用场景所需考虑的重要性能之一。为同时实现高频谱效率及广域覆盖,在直传与中继协同传输（Coordinated Direct and Relay Transmission,CDRT）系统中采用NOMA可以提供一种新的研究思路。CDRT由采用模拟网络编码的双向中继系统演变而来,可以提供显著的性能增益,因此被认为是一种关键的协作中继系统。然而,基于NOMA的CDRT系统的构成具有一定的独特性和复杂性,其相关研究目前仍处于起步阶段,且存在由于中继转发和重复传输导致的频谱效率损失及边缘用户可靠性下降等问题需要解决。基于以上背景,本文以轻型物联网为应用背景,通过有机集成NOMA和设备到设备（Device-to-Device,D2D）通信等其他使能技术,探索研究CDRT系统中的高谱效NOMA传输方案以同时实现高频谱效率以及广域覆盖。结合有待解决的问题,本文主要从以下四个方面展开研究:第一,针对通用多用户CDRT网络在组网时直接应用NOMA导致复杂度较高的问题,提出一种基于NOMA的CDRT方案以及一种基于用户配对和混合多址接入的CDRT方案。在基于NOMA的CDRT方案中,基站直接采用NOMA服务所有用户。而基于用户配对和混合多址接入的CDRT方案则按照用户信道质量排序将中心用户和边缘用户进行配对分组,在配对后的用户组内采用NOMA,同时在不同的用户组间利用时分多址进行区分。为了评估系统性能,本文分别分析了所提两种方案、传统协作NOMA方案以及正交多址接入方案的频谱效率和复杂度。同时,结果表明所提基于用户配对和混合多址接入的CDRT方案是一种具有低复杂度的高谱效通信方案。此外,所提用户配对及混合多址接入可为后续研究中用户数目有限系统的组网拓展提供理论支撑。第二,针对基于NOMA的中继辅助下行CDRT系统中中继协作导致用户可靠性降低的问题,提出一种基于边缘用户先验信息的下行动态NOMA传输方案。在所提方案中,基站可直接与两个中心用户通信,而由于远距离或障碍物遮蔽只能通过中继辅助与边缘用户通信。特别地,靠近基站的一个中心用户如果在第一时隙可获得边缘用户的先验信息,那么其在第二时隙切换至发送模式来协助边缘用户,否则其将切换至接收模式。边缘用户如果可同时接收到来自中继及中心用户的消息副本,那么其采用最大比合并（Maximum Ratio Combining,MRC）技术以进一步提升接收可靠性。本文分别推导得到所提方案的中断概率和频谱效率的理论闭合表达式。仿真结果表明所提方案可在保证高频谱效率的前提下实现接收可靠性的提升。第三,针对基于NOMA的中继辅助上行CDRT系统中重复传输导致系统频谱效率损失的问题,提出一种新型基于NOMA和D2D的上行CDRT传输方案。中心用户与基站直接通信,而边缘用户需要通过中继辅助才能与基站通信。所提方案在协作时隙采用NOMA共同设计了中心用户的上行传输及中心用户至边缘用户的D2D通信,从而在相同的时间资源内传输更多数据流以实现频谱效率提升。为证明所提方案的有效性,分别分析了相应的中断概率、系统吞吐量和频谱效率。仿真结果表明所提方案相比传统方案可实现更高的频谱效率。第四,针对传统基于NOMA的用户协作通信系统无法同时支持直传和中继传输造成频谱效率损失的问题,在用户辅助的双向CDRT系统中设计一种基于网络编码思想的双向自适应NOMA通信方案。一个中心用户充当中继协助基站与边缘用户通信,而中心用户可直接与基站通信。为提高系统频谱效率,所提方案通过NOMA和自适应功率域叠加编码实现多数据流聚合传输和双向通信。此外,自适应传输以及MRC技术的使用可进一步提升边缘用户的接收可靠性。进一步分析了所提方案的中断概率、系统吞吐量、频谱效率和能量效率。仿真证明了理论分析的正确性以及所提方案在频谱效率、能量效率以及边缘用户可靠性方面的性能优势。