随着数字世界需求的不断增长和新应用场景的层出不穷,第五代移动通信网络5G和物联网（Internet of Things,IoTs）中的设备到设备（Device-to-Device,D2D）通信在提高网络性能方面带来了许多好处,如能耗、通信延迟以及频谱效率。它可以在基站的控制下,实现用户间端到端的短距离通信,终端用户间数据的传输无需经过基站,也减轻了基站在会话控制和数据传输上的负担。D2D群组交流有潜力改善群组服务,包括群组游戏、群组讨论。D2D群组通信的主要挑战是实现安全性使其广泛应用。无线信道的开放性,使得D2D群组通信面临着严重的隐私安全威胁。在D2D群组通信中建立安全通信信道的基础是用户身份认证与密钥协商,但现有的针对D2D安全通信的研究很多,对D2D群组安全通信的研究还不够重视,并且现有的D2D群组安全通信方案还存在许多不足。鉴于此,本文为解决D2D群组通信过程中存在的假冒攻击、重放攻击等安全威胁,结合D2D通信系统的特点,基于加密技术,提出了安全、高效的数据传输方案,研究内容如下:（1）提出了一种基于椭圆曲线密码（Elliptical Curve Cryptography,ECC）的D2D群组通信的身份认证与密钥协商协议。本文首先分析了蜂窝网络中D2D群组通信的特点、总结了群组安全通信过程中的安全需求,设计了一种无需核心网参与的身份认证与密钥协商协议,结合哈希函数的特点,如单向性、抗碰撞性等,设计了一种密钥验证机制。该方案使得核心网能够在不知道D2D群组会话密钥的情况下,验证密钥的正确性以及合法性。安全分析表明,该协议可以有效抵抗中间人攻击、重放攻击,实现身份匿名认证。通过性能测试,证明了该协议较现有方案的高效性。（2）结合无证书公钥密码（Certificateless Public Key Cryptography,CL-PKC）和无需模逆运算的椭圆曲线数字签名（Elliptic Curve Digital Signature Algorithm,ECDSA）,提出了一种轻量级、安全高效的身份认证与密钥协商协议。该方案不仅不需要核心网的参与,而且无需进行双线性对和模逆运算,保障了5G蜂窝网络中D2D群组通信的安全性和匿名性。通过BAN逻辑对该协议进行了形式化分析,并分析了该方案的性能测试结果,分析表明,该协议不仅可以满足D2D群组通信安全需求,还可以高效率的实现D2D群组通信。