协作通信在近年来已经受到了无线通信界众多学者的越来越广泛的关注。这主要是因为它能够极大的提高系统的有效性,能够在一定程度上解决目前频谱资源日益紧张的现状,从而满足用户日益增长的杜宇数据传输速率的需求。另一方面,协作通信还可以提高系统的可靠性,通过对传输信号的复用以及有效地合并,提高接收端的接收信噪比,从而满足用户对于通信质量的高要求。在协作通信中,双向中继协作系统是一种主要而且有效的方法,受到了广泛的关注和研究者们的热情。本文也将研究方向集中在双向中继协作系统,对于双向中继系统中的传输策略进行了深入的研究和性能分析,其主要贡献如下。首先,论文介绍了双向中继系统模型,国内外研究现状,以及此系统中四种主要的传输策略。论文详细阐述了四种策略的具体数据传输过程和操作方法,并且分析了每一种策略的优势和不足,以及产生这种优势和不足的原因。为接下来的内容做好了铺垫。然后,论文提出了一种新的自适应模式选择策略,即AMS (Adaptive Mode Selection)策略。我们设计AMS策略来同时改善双向中继系统的中断性能与和速率。详细给出了AMS策略的具体工作过程。并且对系统中断性能进行了分析,给出了系统中断概率的一个下界,这个下界与实际中断概率十分贴合。此外,论文给出了系统中断性能的近似分析,从近似分析中,我们可以看出,AMS策略可以达到的分集阶数为2。最后,论文给出了AMS策略的仿真结果与分析,从仿真中,我们可以看出本章所提出的AMS策略相比其他已有策略的优越性,对于双向中继系统在中断性能与和速率性能两个方面都获得了提高。第三,在AMS策略的基础上,论文进一步在多用户多中继双向中继系统中提出了一种新的联合传输。该策略联合了用户中继对选择策略和模式选择策略,使我们实现了用低复杂度的方法改善多用户多中继双向中继系统的中断性能。给出了联合策略的具体工作过程。对系统中断性能进行了分析,给出了系统中断概率的一个下界,并且,给出了系统中断性能的近似分析,从近似分析中,我们可以看出,联合策略可以达到的分集阶数为M+N。从仿真结果与分析中,我们可以看出联合策略相比其他已有策略的优越性。此外,在目的节点处只要本地信道状态信息(CSI),而不是全局CSI,较低的复杂度也使本策略更具可实现性。此外,论文还研究了目前5G移动通信中的热点技术-全双工(FD,Full Duplex)技术,并且针对全双工技术目前存在的两个问题,提出了一种新的基于分布式Alamouti编码的全双工双向中继系统传输策略。这个策略通过使用分布式天线构成的分布式天线阵列,完成分布式空时编码,有效地利用用户之间的直传链路,以此来减弱系统剩余自干扰对于系统性能的不良影响,从而实现了对全双工双向中继系统的可靠性的提升。同时,为了进一步改善全双工系统的性能,我们提出了三种混合全双工半双工策略,这三种混合策略能够一步步的提升系统的中断性能,且逐步消除了剩余自干扰带来的中断概率在高信噪比时的平台效应。