网络编码的提出推翻了中间节点对传输的数据进行加工不会带来任何收益这一传统观点，同时对存储转发路由模式提出了新的挑战。其思想促进了交换理论在有线通信系统的发展。然而在无线通信系统中，信道时变特性相对有线通信系统更为明显。一般的网络层网络编码没有考虑信道信息，当无线信道条件较差时，网络编码反而会制约系统的通信速率。因此，近几年结合物理层信道信息的网络信息论开始得以发展。本文基于网络信息论，针对无线中继系统的理论传输速率和优化转发策略进行了相关研究，主要内容包括:　　(1)针对双向中继系统的传输时间和能耗最小化问题，提出了一种优化策略。该策略通过定义基本传输模块和组合传输模块，对中继系统的通信策略进行了细化分析。然后利用放大转发和解码转发的不同中继解调特点，将传输时间和能耗的最小化问题分别转化为标准的线性规划和二次规划优化问题。根据本文的优化结果来配置双向中继系统的最佳包长比例，可以使网络的归一化的传输时间和能耗最小。　　(2)针对目前双向中继系统的固定时隙转发策略，提出了一种与实时信道信息相结合的动态链路选择转发策略。该策略通过在中继节点配置缓存让数据的传输可以适应信道的变化，同时通过Karush-Kuhn-Tucker条件对系统的总速率进行优化，并推导出了任意信道分布条件下的最优链路选择函数。本文提出的动态链路选择转发策略比现有的固定时隙转发策略在系统总速率上有明显提高。　　(3)首次提出了与实际蜂窝通信系统更贴近的four-way relay模型和相应的两时隙传输策略。在此基础上，基于网络信息论针对放大转发、解码转发和lattice转发，推导了该通信系统的理论传输速率。其次本文首次提出采用脏纸编码进行中继节点的干扰消除，提高了系统的理论传输速率。最后在多天线场景下，采用迭代优化的方法对系统的理论总速率进行了优化。在蜂窝通信系统中，应用本文提出的four-way relay传输策略比现有的双向中继传输策略具有更高的传输效率。