将多天线中继网络与认知无线电结合,形成一种新型的多天线认知中继网络,两者的结合,不但在原有的基础上解决了通信信号传输距离有限的问题,而且提高了现有频谱的利用率。解码转发技术在多天线中继网络中是一种重要的信号处理方法,然而,由于无线通信的可接入性,使得信号极其容易受到外界的窃取。因此,研究解码转发方案下的多天线认知中继网络的物理层安全具有重要的意义。本文研究了三种不同的多天线中继网络模型,并且从小区通信模型分析其通信系统的实际应用。首先,在两跳的多天线中继网络中,研究了在解码转发协议下,多天线采用发送天线选择和选择合并方案系统的安全性能。系统的发射端、目的地和窃听端均配备单天线,并且窃听端存在M个干扰源。在Rayleigh衰落信道情况下,推导出了系统安全中断概率的精确表达式,并且相应的给出了在高信噪比下安全中断概率的渐近表达式和非零安全容量概率表达式。将理论数据与仿真数据进行比较,确定分析的准确性。分析的结果对于优化多天线中继网络具有指导意义。其次,研究了在多天线认知中继网络中系统的安全性能。具体而言,系统引入认知网络实现频谱的共享,并且在接收端和窃听端均配备多天线。中继端仍然采用解码转发技术,但是此时中继处的多天线将采用最大比合并和发送天线选择方案来接收和发送信号。经过计算,给出了系统的安全中断概率和窃听概率的闭合表达式。最后,通过蒙特卡洛仿真验证了理论分析的准确性。分析的结果对于改善多天线中继网络在生活中的实际应用具有很大的意义。最后,对于存在共信道干扰的多天线认知中继网络的安全性能进行了研究。此时,系统模型中存在多个授权用户,并且接收端受到共信道干扰影响。假设所有的信道均服从Rayleigh衰落,计算出了系统的安全中断概率的闭合表达式,分析了各个参数对系统安全性能的影响,并且通过Matlab仿真验证了理论分析的准确性。分析的结果对于优化实际通信当中存在共信道干扰的通信系统具有很大帮助。