相比于传统的单跳通信,中继传输技术可以显著提高网络的覆盖范围、增强无线通信的可靠性。如何分析和度量不同中继传输系统的理论性能,是中继相关理论研究的基础问题。本论文从理想信道条件下最简单的三节点中继系统模型出发,分别研究了混合信道下放大转发(amplify-and-forward, AF)中继系统以及部分中继选择算法的性能问题、共信道干扰对固定增益AF中继系统以及频谱共享译码转发(decode-and-forward, DF)中继性能的影响、反馈延迟对多用户中继系统中波束赋形以及用户选择的影响,以及反馈延迟对多入多出(multiple input multiple output, MIMO)双向中继(two-way relay, TWR)天线选择技术的影响。本文具体的创新点如下：针对两跳中继信道的非对称特性,研究了中继系统的混合Nakagami-m/Rician衰落信道模型。对于基本的三节点中继系统模型,在混合Nakagami-m/Rician信道条件下推导了两类AF中继系统的中断概率(outage probability)和误符号率(symbol error probability, SEP)。然后,从单中继系统拓展到发送分集辅助的下行多中继系统,分析了混合Rayleigh/Rician(?)言道条件下部分中继选择算法的理论性能限。最后,通过理论和仿真证明了以上理论结果的收敛性和正确性。研究了AF中继系统在共信道干扰条件下的性能,并分析了干扰功率分布对中继系统性能的影响规律。特别的,本文考虑最普通的中继节点和目的节点都存在多个干扰的情况,推导得到了一种新的端到端信号干扰噪声比(signal-to-interference-plus-noise ratio, SINR)形式,基于此推导了Rayleigh衰落信道下固定增益AF中继的中断概率闭合表达式,并通过理论推导证明了均匀的干扰功率分布对应最差的中断概率性能。研究了频率共享中继系统中主用户干扰对中继次用户系统性能的影响问题。在中继系统的瞬时发射功率受主用户干扰门限约束的条件下,重点分析了DF中继系统在主用户干扰存在条件下的中断概率性能。特别的,本文推导了DF中继中断概率的精确和渐近表达式,并基于此分析了不同的系统参数对中继性能的影响规律。理论和仿真结果表明主用户的干扰会严重恶化频率共享DF中继系统的性能。针对下行多用户中继系统,研究了反馈延迟对第一跳波束赋形(beamforming)以及第二跳用户选择的影响。特别的,为了保证不同用户之间的公平性,本文采用基于归一化信噪比(signal-to-noise ra-tio, SNR)的用户调度策略。在Rayleigh信道条件下,推导了两跳反馈延迟存在条件下AF中继中断概率和误符号率的精确和渐近表达式,并证明了在波束赋形或者用户选择过程中存在反馈延迟的情况下,多用户中继系统无法获得任何分集增益。研究了反馈延迟对MIMO双向中继系统天线选择技术影响。根据导出次序统计量理论(induced order statistics),推导了在Rayleigh信道中存在反馈延迟条件下MIMO双向中继天线选择对应的总体中断概率的精确和渐近表达式,为MIMO双向中继系统设计提供一定的理论依据。理论和仿真结果显示在理想信道反馈条件下MIMO双向中继采用天线选择技术可以获得满分集增益,但是对于任意一跳链路存在反馈的情况,MIMO双向中继都无法获得任何分集增益。