室内可见光通信（VLC）是利用白光LED光源,在照明的同时实现无线通信,具有传输速率快、节能环保等优势。但目前白光LED的最大调制带宽约20MHz,且在发射功率较高时存在非线性效应,使VLC的通信速率受到制约。为了满足当前日益增长的室内无线通信需求,在现有LED器件条件下如何提升VLC调制速率和传输可靠性是急需解决的科学问题。本文采用正交频分复用（OFDM）多载波调制方式,以充分利用有限的调制带宽,并采用概率整形技术,以降低发射功率。在此技术上开展信道编码研究。本文主要研究工作如下:（1）研究分析里所码（RS）、低密度奇偶校验码（LDPC）两种信道编码在室内VLC系统中的性能并对LDPC的纠错能力优化完善。通过分析光器件和信道特性建立VLC系统模型,利用模型综合分析了直流偏置光正交频分复用（DCO-OFDM）和非对称剪切光正交频分复用（ACO-OFDM）两种调制方式的优缺点,结合VLC特性选用ACO-OFDM。完成信道估计与均衡的工作,并探究了不同速率下系统的脉冲响应,消除了码间串扰与载波间干扰的问题。比较分析不同通信速率下RS与LDPC两种编码的性能。进一步探究了LDPC译码的置信传播算法并做出调整,使其以尽量小的迭代次数达到更好的纠错效果,编码增益提高了超过1d B。（2）提出在采用ACO-OFDM调制下的室内VLC系统中使用概率整形结合LDPC编码的方法。从信息散度、信源熵、发射功率和误码情况等角度,分析了概率整形的特性,4.7%的信息损失便可以换来36.4%的功率节省。结合概率整形与LDPC编码,有效的改善了此编码调制系统中传输模式的颗粒度,在一定的传输速率下对信噪比的要求更低。lambda取1的概率整形结合5/6码率的LDPC码和只有lambda取2.85的概率整形相比,频谱利用率相同,前者对信噪比的需求降低了2d B;和只采用3/4码率的LDPC码相比,两者达到无误码时对信噪比的需求相同,但前者频谱利用率提高了0.26bits/sym,并且发射功率降低了30.5%。