在无线通信中,接收端的均衡技术和发送端的预编码技术是改善通信质量的重要物理层技术。在接收端采用判决均衡,通过已判决符号辅助后续均衡的进行,能够有效地提高接收信号检测的可靠性。当发送端在同时、同频资源上对多个用户服务时,多用户之间存在干扰,在发送端采用多用户预编码能够有效地抑制该干扰,提高下行传输的质量。因此,判决反馈均衡和多用户预编码是抑制干扰、提高通信可靠性的关键。对于判决反馈均衡,本论文主要研究判决反馈均衡在单载波传输和中继传输中的应用。在单发单收单载波传输中,通过引入判决反馈均衡,有效地消除多径效应带来的符号间干扰。本文提出的判决反馈均衡具有更低的复杂度和更优的检测性能。进一步,把判决反馈均衡引入到空时编码单载波传输中,能够提高接收端的可靠性,并且判决反馈均衡处理过程能够在频域实现。在空分复用单载波场景中,本论文把天线间预编码与判决反馈均衡有效结合在一起,通过两者的联合处理,能够有效地抑制多径效应带来的符号间干扰和多天线带来是天线间干扰,提高接收端的可靠性。在中继传输中,通过在目的节点引入判决反馈均衡,能够有效地消除信道误差带来的影响,并通过性能分析,建立起判决反馈均衡性能与容量优化之间的有效联系。对于多用户预编码,本论文主要研究发送端多用户预编码与接收端信号检测的联合优化,并提出了一种用于多用户预编码设计的统一优化分析方法,用来辅助预编码矩阵的设计。该优化分析方法具有良好的适用性,能够适用于多种预编码优化设计准则。在第一章中,本论文首先阐述了当前无线通信中判决反馈均衡与多用户预编码的研究现状,给出了已有工作与本文中所做工作之间的联系。在判决反馈均衡的研究中,本论文分为两个部分：单载波传输中的判决反馈均衡和中继传输中的判决反馈均衡。对于单载波传输的判决反馈均衡,在第二章、第三章、第四章中,分别对结合单发单收、空时编码、空分复用场景进行研究。在第五章中,研究的重点是中继传输中的判决反馈均衡,主要关注在非理想信道信息条件下的判决反馈均衡。对多用户预编码的研究,主要放在第六章中,研究的重点是分析多用户预编码矩阵与接收端信号检测之间的联系,并对其进行联合优化,提出能适用于多种优化准则的多用户预编码优化设计方法。在第二章中,主要研究单发单收单载波传输场景下的判决反馈均衡。本章中提出了一种与单发单收相结合的具有低复杂度的判决反馈均衡器。在该方法中,判决反馈均衡采用硬判决结果作为反馈符号,且判决反馈均衡器系数在均衡处理过程中保持不变。与现有的硬判决反馈均衡器相比,本文中提出的判决反馈均衡在同等均衡复杂度的条件下具有更优的性能。在第三章中,主要研究空时编码单载波传输场景下的判决反馈均衡。基于单载波传输,本论文提出一种与空时编码相结合的、能够在频域实现的判决反馈均衡器。在该方法中,判决反馈均衡采用硬判决结果作为反馈符号,判决反馈均衡处理能够在频域实现,且判决反馈均衡器系数能够从频域响应中获得,计算复杂度低。与现有的硬判决反馈均衡器相比,本文中的判决反馈均衡器在多种调制方式条件下,都具有更好的性能。在第四章中,主要研究空分复用单载波传输场景下的判决反馈均衡。本论文提出了一种能够与空分复用相结合的判决反馈均衡器。在该方法中,接收端的判决反馈均衡处理能够与天线间预编有效结合,通过天线间预编码,多天线干扰被有效地抑制,且判决反馈均衡处理能够在频域实现,其计算复杂度较低。该方法中的多天线预编码所需的信道信息较少,易于在发送端实现。仿真结果表明,本文中提出的判决反馈均衡器在空分复用场景中,具有更低的计算复杂度和更优的误比特率性能。在第五章中,研究的重点放在中继传输的判决反馈均衡上。在中继传输中,信道状态信息对系统性能会产生重要的影响。在实际中,信道信息不可避免的会存在误差。在本文中,提出了一种适用于中继传输的具有鲁棒性的判决反馈均衡算法,能够有效地抑制信道误差带来的干扰,并且通过理论分析得到,中继传输中判决反馈均衡性能的优化可以转化为中继传输中容量的优化。在第六章中,多用户预编码是研究的重点。在用户端配置有多天线的条件下,用户端的信号检测对发送端多用户预编码矩阵的设计以及下行传输性能产生影响。在本论文中,把发送端多用户预编码与接收端信号检测结合在一起进行联合优化,提出了一种用于多用户预编码设计的统一优化分析方法,并且该方法适用于多种优化准则。通过联合优化,能够有效地提高下行传输的性能。