随着社会科技水平的迅猛发展,人们对通信效率和通信质量的要求越来越高,紧缺的频谱资源成为制约移动通信发展的一个重要因素,为了提供更高的传输速率和系统容量,提升频谱利用率,D2D通信技术应运而生。在蜂窝网络中引入D2D技术还能在一定程度上减轻基站的负担,减小时延,提高公平性,符合绿色通信的需求。但是D2D通信作为无线通信的一种,开放的通信环境使得无线信号传输非常容易受到非法用户的监听。传统的安全机制通过破解密钥所需极高的计算复杂度来保证算法有效性,随着量子计算机的出现,其体现出诸多局限性,探索无线移动信号传输时的物理层安全问题显得尤为重要。本文将D2D通信与物理层安全相结合,研究蜂窝网络下D2D通信系统的物理层安全性能。主要工作如下:首先,将D2D干扰看作友好干扰,研究了当D2D用户复用蜂窝用户频谱资源时蜂窝网络下中继D2D通信系统的物理层安全性能。通过合理的数学模型描述D2D通信系统,在空闲的蜂窝用户中挑选中继,用作放大转发,解决距离受限问题。构建非凸混合整数优化问题,建立蜂窝用户可达保密速率最大化的目标函数,在保证D2D用户通信速率的约束下,推导出最优基站发射功率、最优D2D功率、最优信道分配方案的数学表达式,提出了单用户场景下的功率分配算法和多用户场景下的信道分配算法。仿真结果表明,功率和信道的联合优化算法与通信系统中随机接入算法相比,能够在满足约束条件的同时提升蜂窝用户的最大可达保密速率,增强系统的物理层安全性能。其次,探讨基于人工噪声的D2D系统的物理层安全通信算法。结合多天线技术、协作中继技术、人工干扰技术对系统物理层安全性能进行了研究。以最大可达保密速率为衡量指标,设计人工噪声,使其保证不影响合法用户的正常通信,针对不同的目标需要,论述了三种期望信号预编码向量的设计方案,对人工噪声和有用信号功率的分配系数进行了优化。基于以上三个步骤,提出基于人工噪声的D2D系统物理层安全通信算法。仿真结果表明通过合理的设计方案和功率分配,在基站端添加人工噪声能够有效降低窃听者的窃听速率,系统的物理层安全性能大幅度提升。