随着各种无线技术的发展,人们对通信的需求也日益提高。广大用户已经不能满足于单纯的语音、文本及低速视频传输,而需要业务种类更多、数据传输率更大和服务质量更优的通信服务。协作通信凭借其系统容量高、传输速率高、中断概率低以及抗干扰能力强等优点受到广泛关注,在其他领域也是研究的热点。协作通信是一种虚拟的MIMO技术,不需要在源节点和目的节点安装多个天线,而是通过节点间协作工作来获得空间分集增益。在各种协作通信方式中,机会中继选择方案凭借其在避免中继间碰撞以及性能等方面的优势,更加具有吸引力。其中最佳中继的选择问题是决定协作通信系统的关键技术。本文对最佳中继节点选择算法进行了研究,并且引入ARQ技术以提高信道自由度和系统的频谱效率。网络编码技术为降低网络传输能耗,提高系统容量提供了新思路,是通信网络领域的重要突破技术。网络编码允许网络中间节点不再是对信息进行简单的转发,而是将收到的多条链路信息进行编码之后再转发出去,可以有效地增加网络容量和传输效率。将网络编码加入协作分集,能够以较低的硬件消耗和较高的频谱利用率获得更大的协作分集增益,从而实现对传统协作分集系统的性能改善。论文的主要工作是：首先,概述了协作分集的理论基础,分类介绍了多种协作协议。在此基础上,详细介绍了协作分集中继选择技术的几种经典算法,重点介绍了机会中继算法的原理及存在的问题。其次,针对机会中继算法在实际信道中存在的选择冲突问题,研究了一种可以有效降低碰撞概率的方法,并且引入协作ARQ协议,提出了一种基于机会中继和ARQ协议联合优化的协作通信方案。理论分析和仿真结果表明,该方案可以显著降低中继选择失败概率并提高系统的频谱效率。最后,研究了基于网络编码的协作通信机制,针对传统网络编码-协作通信系统中存在的误差传播问题,在中继节点处引入“机会性”思想,提出了一种机会性网络编码-协作通信方案,该方案灵活的避免了因把错误数据加入网络编码而引起的误差传播问题,可以有效降低链路中断概率,改善系统性能。