随着移动Ad Hoc网络技术的迅速发展,人们对网络性能的要求越来越高,网络规模地不断增大对于网络性能的提升带来了巨大挑战。近年来,跨层技术因为其解决无线网络问题的高效性、可靠性,以及能够降低网络信息冗余等优点,逐渐成为了专家学者研究的重要方向,如何利用跨层技术提高大规模Ad Hoc网络的性能也成为研究热点。协议的设计对于Ad Hoc网络性能的提升有着关键性影响,本文在深入分析了各协议层功能、讨论了实现跨层设计的方法、比较了现有MAC协议和分簇组网协议之后,利用跨层优化思想,从MAC协议和分簇组网协议两个方面,对大规模Ad Hoc网络性能进行优化。为解决传统MAC协议信道利用率低、分配公平性差、不适用于负载不均的网络等问题,本文提出了一种基于非合作博弈模型的FPRP（Five-Phase Reservation Protocol）改进协议（Non-cooperative Game-FPRP,NG-FPRP）。该协议利用具有跨层设计思想的非合作博弈模型对时隙分配机制进行建模,将物理层的节点移动性等特征和应用层的业务信息等进行跨层信息融合,构造收益函数,利用模型所求得的纳什均衡解改进协议时隙竞争过程。并在OMNeT++仿真平台上对协议进行仿真验证,结果表明,在网络负载不均的场景下,NG-FPRP能有效地提高节点的竞争成功率,提高分组投递率,减小平均时延。针对传统的分簇组网协议网络开销大、生命周期短等问题,提出了一种基于灰狼优化的跨层优化分簇组网协议（Grey Wolf Optimization Clustering protocol,G WOC）。该协议利用灰狼优化算法对簇首选举问题进行建模分析,将物理层能量、移动性等节点特征和应用层的业务信息等因素进行跨层信息融合,优化适用度函数,优化了簇首选举问题,完善了簇维护过程。将该协议在OMNeT++仿真平台上进行了仿真验证,仿真结果表明该协议延长了网络寿命,提高了数据包投递率,适用于业务多样的、移动性强的大规模Ad Hoc网络。