近些年无人机集群技术发展迅速,无人机网络中节点数量不断增加,节点密度越来越大。在大规模无人机集群网络中,无人机的通信需要适应冲突、干扰、窃听等复杂的电磁环境。同时,由于数据量太大,无人机集群通信中网络资源的竞争和干扰非常激烈。因此,提高网络资源复用性、高效地进行资源调度、降低通信链路间的干扰等问题的研究对提高大规模无人机集群网络的网络性能具有重要意义。本文针对这些问题展开研究,提出了基于回溯天线的多信道定向MAC协议,使无人机节点能够无冲突地竞争和接入多维网络资源。设计了高效率的资源的调度算法,包括基于图着色的三维网络资源分配算法,对时频空网络资源进行了最大程度复用,以及基于强化学习的分布式智能调度算法,各链路可作为单个智能体动态适应环境、学习最优的分布式调度决策,使网络具备更高的资源利用率和吞吐量性能。本文主要的创新性工作包括:首先,针对大规模无人机集群网络中干扰和竞争严重、信道容量有限、安全及私密性能差等问题,提出利用回溯天线将空分与多信道频分结合,有效缓解资源竞争和提高网络抗干扰性能。并设计了基于回溯天线的多信道定向MAC协议（FA-MMAC）,对无人机集群网络中空间和频域资源进行联合分配和竞争接入。FA-MMAC协议充分利用了回溯天线能量集中、传输范围远、功耗低等优势,提高了频率资源的重用性和网络的传输性能,降低了网络中的干扰。同时,我们结合定向传输的特点设计了相应的多信道结构、波束-信道预留表、控制帧轮询机制,解决了定向通信中的干扰、隐藏终端、耳聋等问题。针对FA-MMAC协议分析了二维Markov链模型,对其饱和吞吐量的理论计算进行了推导,并结合仿真验证了模型的正确性以及FA-MMAC协议在提高无人机网络的数据吞吐量和传输性能等方面的优势。接着,在回溯天线定向传输的基础上,集合时域、频域、空域总和了大规模无人机网络中的三维网络资源。研究了图着色问题的基本理论和在无线网络中的应用,并以此为基础设计了相应的三维网络资源联合分配方法。该方法可在保证无冲突的前提下,为通信节点求得最大化网络资源复用的分配方案,减少不必要的频率、时隙等资源的浪费,从而大幅度提高大规模无人机集群网络资源的利用率,并给予更多无人机节点接入网络资源进行传输的机会。我们利用仿真验证了模型中着色方法的正确性以及资源分配方法在资源利用率、网络传输性能等方面的优势。最后,为了适应分布式无人机集群网络架构,减小网络干扰并提高网络容量,本文提出了一种基于信干噪比干扰模型的链路资源分布式智能调度算法,各链路作为独立的智能体进行高效率的链路资源决策。我们先设计了衡量链路定向干扰强度的高效方法,避免对所有干扰链路进行信道估计产生巨大的计算代价。然后结合强化学习的思想设计了与通信环境交互的链路调度学习模型。在模型中,每个通信链路利用神经网络进行独立的训练,将训练所得的决策结果反馈到环境中进行状态更新,模型在不断更新的环境中迭代来学习最优的调度策略。该模型不需要全网的通信信息,只需要节点通信感知范围内的局部信息进行分布式调度,不受网络布局以及链路数量的影响,对于网络规模是可伸缩的。无人机节点在智能决策过程中可适应环境的动态变化,能够大幅度提高网络的整体性能和实用性。