为了应对未来无线数据流量持续爆炸性增长、智能设备海量接入、各类新兴业务和应用场景不断涌现等挑战,第五代移动通信系统(5G)应运而生。其中,在分层异构网络的基础上部署超高密度接入点的超密集网络(Ultra dense networks,UDN)被视为5G系统中最具前景的关键技术之一。UDN一般是由大量超高密度的低功率、低成本的小型基站组成,其部署密度远超于当前移动通信网络。其密集化的站点部署缩短了信息接收端与发送端的距离,使得传输路径损耗减小,有效提高链路传输质量,加之可用频谱的复用,可以实现系统容量、频谱效率的大幅提升。然而若要充分发挥UDN的诸多优良性能,仍有很多问题亟待解决。主要体现UDN部署时的性能分析和UDN部署后的性能优化两个方面。前者主要通过构建UDN节点的空间点模型,推导和分析不同网络配置参数对系统性能的影响,从而为UDN的部署提供理论依据。后者主要是在网络配置确定的条件下,利用凸优化、博弈论等工具对网络性能进行优化。针对这两方面问题,本文采用随机几何对UDN进行了建模与性能分析,同时从绿色通信的角度出发,设计了基于资源分配和基站休眠的低复杂度的能效优化策略,为UDN性能的提升提供了有效解决方案。针对UDN部署时的性能分析,本文以两层UDN为例,将微微基站与家庭基站的分布分别建模成一个齐次泊松点过程和一个Matern簇过程。利用随机几何的相关理论,推导出在多信道条件下外部用户和内部用户的覆盖率以及平均可达速率。并在此基础上进一步推导了UDN的区域频谱效率和区域能量效率。通过理论分析与系统级仿真,得到了系统参数与网络性能之间的关系。针对UDN部署后的性能优化,本文以能量效率为优化目标,首先提出了一个基于分簇的高能效资源分配策略。该策略包含两个阶段,即分簇阶段和资源分配阶段。在分簇阶段,设计了可以根据基站密度自动调整基站簇数量的改进型K-means聚类算法。然后在每个基站簇中,以最小化每个基站簇内干扰为原则设计了用户分组算法。在资源分配阶段,设计了分步频谱分配算法和基于非合作博弈的迭代功率分配算法,并给出了算法的具体实现步骤。系统仿真结果表明,所提策略在降低网络干扰的同时,有效提升了系统的吞吐量、频谱效率和能量效率,并且这种优势随着基站密度的进一步增加而越发明显。同时,本文还提出了两阶段的UDN基站休眠策略。通过将热点地区的小基站与用户分别建模为两个相互独立的齐次泊松点过程,利用随机几何的相关理论,分析推导了用户的平均可达速率,并给出了传统休眠模式和随机休眠模式下的系统能耗。相比于穷尽式搜索方式,本文所提出的策略大大降低了基站休眠的时间复杂度。并且通过仿真结果也可看出,本文所提策略相比于传统休眠模式和随机休眠模式在能效上有更大幅度的提升。