随着无线终端的增多以及无线业务量的爆发式增长,现有的网络系统将不能满足未来用户的需求,下一代无线网络将结合新的无线传输技术以及新的网络协同技术等,提供现有网络1000倍的容量服务,构成无所不在的网络。下一代无线网络会在现有网络的基础上不断演进,将结合如中继,认知网络,多天线技术等构成超密集网络,以增大容量。为提升频谱利用率,也可能会采用全双工方式进行无线传输。密集网络以及同频复用等必定会给网络带来一定的干扰,因而,用户的干扰消除以及网络间的协调传输等是下一代无线网络所要解决的重要问题。本文将无线网络的预编码作为研究内容,在国家自然科学基金“无线网络的干扰管理与容量研究”(61231008),973重点基础研究发展计划课题“智能的动态网络资源管理模型与控制机制研究”(2009CB320404),长江学者和创新团队发展计划资助(IRT0852),国家自然科学基金(61301168)和111基地发展计划(B08038)的支持下,从构成未来网络的不同网络场景入手,包括单向中继辅助的小区网络、双向中继辅助的小区网络、基于干扰对齐和基于协作的认知网络,设计相应的预编码,提升无线网络的频谱效率及能量效率等。所做工作如下：1.针对单向中继辅助的小区下行传输,考虑有弱直接链路的网络模型。为满足用户多样化的业务需求,设计了一种支持不同数据流的传输方案,并在此方案下设计相应的预编码。在基站端设计了两种预编码,分别用于直接链路和中继链路。由于直接链路上接收的信号比较弱,在基站端用于直接链路的预编码用来消除直接链路上的干扰。对于中继链路,不同的阶段使用不同的预编码方案。在第一阶段,为了防止干扰被中继放大,基站端用于中继链路的预编码用以消除链路之间的干扰；对于第二阶段,中继节点上的预编码用于最大化系统的频谱效率。为了反映所设计的预编码的特征,使用了不同的方法得到了预编码的结构。首先通过结合有用信号零空间向量或干扰信号正交空间向量获得预编码结构,然后再去优化预编码结构中引入的变量。所提出的结构化预编码,不仅可以应用于频谱效率最大化问题,也可以应用于能效最大化问题。仿真验证表明,所提的结构化预编码能够得到较好的频谱效率或能量效率。2.研究单小区双向中继系统的预编码设计。因为小区中有多个用户,预编码的设计主要用于实现小区中用户的能效平衡。由于这样的能效平衡问题是一个NP-hard问题,使用凸近似和凸松弛等方法,将此问题变成易于求解的形式。首先采用了Dinkelebach方法来求解最大最小(max-min)分式优化问题。因为变换后的问题仍然是非凸问题,然后使用轮询迭代方法进行求解。当基站端或中继端的预编码固定后,问题仍然非凸,因而采用凸近似和半正定规划方法来求解基站和中继的预编码矩阵。所提出的预编码设计算法不仅可以使用在小区双向中继网络中,还可以使用在含有直接链路或单项中继的网络场景中。仿直结果表明，与现有的方法相比，所提出的算法能够得到较高的平衡能效。3.针对配有多天线的主次用户相互干扰的认知网络,提出一种低复杂度的干扰对齐算法用以消除主用户及各个认知用户之间的干扰。所提算法的核心内容在于所设计的干扰对齐问题的构建以及相应预编码的求解。与传统干扰对齐方法不同,所提的算法不仅可以有效消除掉用户之间的干扰,还能最大化有用信号的接收功率。仿真结果表明,所提的算法与现有的干扰对齐方法相比,能够得到更高的系统和速率并能够实现系统容量和干扰泄漏的均衡。4.考虑基于频谱共享的认知网络预编码设计,用以最大化认知用户的加权和速率(WSR)。为提高无线网络的频谱效率,次级用户经常被授权与主用户共享频谱资源。为确保主用户和次级用户有效地传输,次级用户对主用户的干扰需要限制在一定范围内并且只有次级用户达到一个给定的速率门限才可以通信。在速率和干扰约束下,为了选择合适的次级用户进行传输且得到最大的加权和速率,提出了在只能获得部分信道状态信息的网络环境下的一种联合接纳和预编码设计算法。首先根据信道的统计特性,采用凸近似和凸松弛方法构建加权和速率最大化问题。然后引入罚因子,用来判断含有速率约束的问题的可行性,并根据罚因子的值来进行接纳控制。在求解可行问题时,采用归一化速率谱(rate profile)和多嵌段近似(polyblock outer approximation)方法迭代更新所得到的加权和速率。仿真结果表明,所提的算法与现有的方法相比,能够得到更高的系统加权和速率。