协作通信技术能够有效克服无线信道的多径衰落与路径损耗等问题,提高无线网络的覆盖范围、信道容量以及信息传输的可靠性,是当今无线通信系统中十分重要的一项技术。传统的无线协作中继多采用半双工（Half-Duplex,HD）模式,即中继节点信号的接收与发送占用不同的时间或频带资源,从而造成通信资源的浪费,导致频谱效率降低。随着射频技术特别是自干扰（Self-Interference,SI）消除技术的不断发展,同时同频收发的全双工（Full-Duplex,FD）中继受到较多关注。全双工中继理论上可以节约半双工中继一半的时频资源,从而将系统的频谱效率提高一倍。此外,超密集网络（Ultra Dense Network,UDN）也是一种新型协作通信技术,该技术通过大量部署低成本的小型基站,构建微宏异构的超密集网络架构,满足高容量热点地区的用户终端通信需求,实现通信系统性能的显著提升。本文主要考虑全双工中继以及超密集网络这两种新型无线协作通信场景,从提升系统能量效率的角度对相应的传输方案进行深入研究。本论文首先考虑一个三节点中继系统,通过理论分析对比半双工中继和全双工中继的最大可达能量效率。在中继发射功率受限的场景下,严格证明了半双工中继相较于全双工中继在能量效率指标上的性能优势。此外,在中继发射功率约束之外额外引入最小频谱效率约束,分析证明了当满足一定的前提条件时,全双工中继相较于半双工中继能达到更大的能量效率。最后,通过仿真验证了上述理论分析结果的正确性。接着,论文针对全双工中继的能量效率最大化问题展开研究,提出了高效的发射功率联合优化算法。以信源和中继节点最大发射功率以及系统最小频谱效率需求作为约束,构建能量效率最大化问题以联合优化信源和中继发射功率。针对上述分式规划问题,论文首先提出一种基于凹凸过程（Concave-Convex Procedure,CCCP）的迭代优化算法得到问题的一个局部最优解。此外,为了减小算法复杂度,论文又提出一种改进的低复杂度算法,避免了迭代过程而仅需求解一次凸优化问题,以近似地达到最优性能。最后,通过数值仿真验证了所提能量效率优化算法的有效性。最后,论文考虑了一个基于无线自回传（Self-Backhaul）的超密集网络,通过约束网络中各个基站的最大发射功率、各个用户的最小传输速率以及无线回传链路的最小传输速率,构建关于各个基站发射功率的能量效率优化问题。之后,引入辅助变量以及使用凸近似等技巧对原问题进行变换,并通过迭代求解一个凸问题获得各个基站发射功率的局部最优解。最后,通过仿真对所提算法的优异性能进行了验证。