无线通信在过去的十几年中经历了巨大的发展，而随着多媒体技术的发展，接入网支持的服务从音频传送扩展到了数据传输、视频播放等占用更高带宽的业务上，这样增加无线接入网的带宽就成为高速无线通信急需解决的问题。光纤无线通信(Radio-over-Fiber，RoF)技术基于光纤传输毫米波信号，充分利用光纤通信的超宽带、抗电磁干扰以及无线通信的高度灵活等优势，是未来宽带无线接入的关键技术之一。为提高RoF系统的传输性能，降低系统实现成本，迫切需要解决毫米波信号在光纤传输过程中受色散影响而限制的传输距离以及进一步简化RoF系统的基站结构等问题。因此，在基站的结构简单化、高性价比的光载毫米波以及能够克服光纤传输的色散效应、提高频谱利用效率的先进调制格式等重要技术的研究，将对RoF系统未来的发展及普及具有重要的理论意义和实用价值。本文研究了高速宽带通信环境下RoF系统的高频毫米波应用技术以及先进调制格式在通信系统中的优越性能及应用。本文的主要研究内容及创新性成果如下：　　1、提出了一种新型单边带调制(Single-Sideband，SSB)产生光毫米波的全双工光纤无线通信系统。在中心站设置合适的双臂强度调制器的偏置电压，抑制奇阶边带，产生一个频率间隔四倍于射频信号频率的双边带(Double-Sideband，DSB)信号。下行链路中，将数据速率为2.5Gbit/s的基带信号只调制到中心载波上，再与未调信号耦合产生光毫米波进行传输。在基站利用滤波器将二阶下边带作为上行信号的光载波重复利用，而中心载波和二阶上边带则拍频产生电毫米波信号，简化了基站的结构。从理论上对该光毫米波的色散特性进行了分析，发现该毫米波的接收功率不会周期的衰减。同时通过模拟实验研究可以知道，经过50km传输上行和下行链路信号的眼图仍旧是清晰张开的，说明该系统能够有效克服光纤色散引起的衰落效应和传统单边带中信号码元的走离问题，适合于远距离传输。　　2、先进调制格式是40Gb/s以上高速长距离光传输领域的研究热点，由于光双二进制(OpticalDuobinary，ODB)调制格式具有较低的频谱宽度和良好的色散容限性能，能够更好地抵御高速光传输中光纤非线性效应和偏振模色散带来的影响，因此引起人们的高度关注。本文着重提出了一种基于延迟相加原理的新型光双二进制调制码的产生方案。为避免单个信号码元的传输错误相继影响以后的码元，导致接下来所有码元的错误传播，必须对输入的二进制码元进行预编码。文中详细阐述了产生双二进制调制码的编解码过程，结果表明，通过预编码产生的调制码型在传输时能减小码间干扰的影响，并且在接收端能直接采用强度调制一直接检测(IntensityModulation-DirectModulation，IM-DD)系统的接收机检测信号，简化接收端的设备。　　3、在40Gb/s的高速光网络系统中，对光双二进制编码格式的光谱、色散容限和误码率(BitErrorRate，BER)等特性方面进行了一系列的模拟仿真实验。仿真结果表明，相对于传统的调制格式如非归零码(NonReturnToZero，NRZ)、归零码(ReturnToZero，RZ)和载波抑制归零码(CarrierSuppressed-ReturnToZero，CS-RZ)，光双二进制调制格式具备较低的频谱宽度和高色散容限，能够有效地抑制光纤非线性效应带来的色散影响。在300公里传输距离上，光双二进制码明显地呈现出高信号接收灵敏度和低功率代价等优越性能，因而更适合于现代高速光纤通信系统。