在富散射的环境中,多输入多输出(MIMO)复用技术通过在系统的发射端和接收端均采用多根天线,可以在不增加发射功率和频带宽度的前提下,大幅度地提高信道容量和实现高速可靠的数据传输。因此,MIMO(复用)系统已被认为是未来宽带移动通信系统实现高数据速率和高系统容量(以满足快速增长的数据业务需求)的有效途径。然而,MIMO系统在提高信道容量的同时,也提高了接收端信号检测的难度,使其系统的整体性能和接收机检测算法密切相关。本论文首先简要回顾了MIMO系统中常规的信号检测算法。然后详细分析与比较了三类最重要的近似最优性能的树搜索检测算法：球译码算法(SD)、QRD-M算法、固定复杂度的球译码算法(FSD),以及它们的改进算法。最后详细地介绍了结合这些已有算法的优点而提出的三种新的信号检测算法。SD是一种利用半径限制的深度优先的检测算法,其平均复杂度低但时延大。QRD-M是一种宽度优先的可并行处理的检测算法,其复杂度很高且存在较多的排序。FSD是一种将性能最优但复杂度也最高的最大似然检测(MLD)算法和复杂度低但性能太差的连续干扰删除(SIC)两种算法相结合的新算法,其复杂度固定且可以并行处理。然而,FSD有一个严重缺陷就是它们把完全扩展得到的所有路径等同处理,直到最终的欧氏距离判决,这样会导致大量的冗余计算。为了在保持近似最优性能的同时降低复杂度,受到QRD-M算法中树“剪枝”思想的启发,我们在FSD算法中引入了自动控制幸存分枝数目来实现并行处理的同时减少冗余计算。受到SD算法中利用半径限制来实现树剪枝并可以自动更新半径的启发,我们将半径限制的思想引入FSD算法中来降低复杂度。同时,结合FSD的并行处理结构和一种新提出的概率树剪枝思想,我们提出了一种高效的基于部分判决反馈的概率剪枝算法。计算机仿真表明这三种新算法都能在性能和复杂度之间取得很好的折中。