随着移动互联网的发展以及在社会生产与生活中深入而广泛的应用,用户对于数据传输的速率提出了更高的需求。而无线通信技术自一开始发展以来,直到当前的5G时代,电磁波的传播环境就一直被视为随机的且不受控制的,其中的阴影衰落和多径效应等深刻地影响着移动网络通信的效率和用户的服务质量。而近年来所出现的由大量低成本的被动式反射单元所构成的可编辑智能反射面,其上的各被动式反射单元能独立地对入射信号的幅度或相位进行调整,并通过相互协作形成特定的三维波束赋形,从而达到在信号的接收端进行信号增强或干扰抵消等目的。因此,智能反射面可以通过智能地编辑无线传播环境来显著地提升无线通信网络的性能,它也成为了在5G之后和6G中极具应用潜力的一项革命性技术。本文则对智能反射面增强的多用户通信系统中的相关优化设计问题进行了研究,主要分为智能反射面空间位置的优化设计和智能反射面辅助的无小区网络的联合优化设计两个部分。由于智能反射面被动式反射的特性以及信号从发射端经智能反射面到接收端会经历的“双重衰落”效应,智能反射面的有效覆盖范围较主动式发射设备来说有一定限制,并且它在空间中所处的位置也会极大地影响其性能表现,因而在智能反射面空间位置的优化设计问题中,本文以智能反射面辅助的单小区多用户通信系统为研究场景,以最大化系统的遍历信道容量为目标,来求解智能反射面在空间中的最优布置位置。对于这一优化问题,本文提出了自适应步长的循环坐标下降算法,基于环境中信道的统计信息来求解智能反射面的最优空间位置,仿真结果表明,通过该算法的优化求解,处于最优空间位置上的智能反射面能够对系统的遍历信道容量进行有效地提升。无小区网络作为一种大规模MIMO技术,因其能对用户之间的干扰进行有效抑制并在网络覆盖范围内提供均衡的高速率数据传输服务而被视作极具应用价值的技术之一,但随着网络规模的扩大,无小区网络的硬件成本也随着基站的增多而快速上升,因而本文将智能反射面与无小区网络结合,通过用低成本的智能反射面来替换掉网络中的一部分基站并辅助其它基站的通信来降低硬件成本开销。另一方面,由于智能反射面所辅助的无小区网络中,对基站波束赋形和智能反射面反射系数进行优化的复杂度高,因而寻找一种高效的求解方法对于解决相关优化问题也十分重要。在智能反射面辅助的无小区通信系统的联合优化设计中,本文以多个智能反射面辅助的多用户无小区通信系统为研究场景,通过联合设计基站的波束赋形以及智能反射面的反射系数,来最大化系统中用户的合速率。对于这一优化问题,本文采用了基于深度强化学习方法的双延迟深度确定性策略梯度（TD3）算法,以全局的信道状态信息为环境的状态表示,通过与通信环境的不断交互来学习对于基站的波束赋形以及智能反射面的反射系数的最优决策。仿真结果表明,TD3算法相对于启发式算法有着极大的优势,能使网络中用户的合速率得到显著的提升,并且也具有良好的鲁棒性。