随着无线业务的不断发展，无线数据速率的需求日益增加。为了适应数据业务的不断增加，各个标准化组织大力发展下一代通信技术，如LTE和WiMax，提高用户的频谱利用率和系统容量，但是并未考虑本地业务的快速增长。在蜂窝网络中引入Device-to-Device(D2D)通信能够低成本高效率承载本地业务，实现负载均衡，提高网络的性能。用户间彼此距离很近时，D2D通信通过采用认知无线电技术复用蜂窝网络的资源直接通信，不需要基站进行转发。　　 本文分析了混合网络的背景、认知无线电网络和认知Ad Hoc网络中的资源分配算法。并研究混合蜂窝和D2D网络中D2D通信机制和资源分配算法，在保证蜂窝网络系统的约束下，优化D2D系统和混合网络容量。本文的主要贡献如下：　　 第一，提出在基站控制下实现对用户透明的D2D通信机制，包括D2D连接建立机制、数据传输过程和连接释放过程，然后针对基于OFDMA的混合蜂窝和D2D网络中，以最大化D2D容量为目标，以对偶理论为工具，考虑D2D用户功率约束和D2D用户对蜂窝用户的干扰，提出集中式资源分配算法，并通过仿真验证算法的有效性。　　 第二，分析了混合网络中分布式D2D通信面临的挑战。提出带RTS/CTS的时隙Aloha的机制实现相邻D2D链路间资源竞争和共享，避免相邻D2D数据传输之间的碰撞。为了实现D2D自主选择复用资源并避免D2D对蜂窝用户的有害干扰，基站通过计算蜂窝用户能够容忍的干扰，并根据资源调度信息广播各个资源上可以承受的来自D2D的干扰。并搭建系统级仿真平台，验证方案对系统性能的提升和对蜂窝用户的保护。