MIMO和OFDM技术以其高频谱利用率和对抗多径效应的优势在无线通信领域得到了广泛应用。随着人们对通信带宽的需求不断提高,大规模MIMO技术受到关注,由于大规模MIMO系统天线数目远多于传统MIMO系统,因而对低复杂度、高性能的信号检测算法提出了更高的要求。本文以级联LDPC码的V-BLAST结构MIMO-OFDM系统为主要研究模型,利用OFDM的并行多子载波特性,将频率选择性衰落信道变为多个并行的平坦衰落信道,然后基于每个子载波,建模为平坦衰落V-BLAST MIMO系统,来并行、独立地进行信号检测。根据信号均衡过程和信道译码器的译码过程之间的关系,并以(大规模)MIMO系统的低复杂度为要求,本文将MIMO系统信号检测的方法分为三类展开研究：独立译码检测算法、Turbo迭代译码检测算法和联合译码检测算法；分别针对上述三类检测算法,进行低复杂度的检测器设计：(1)对独立检测和译码算法进行了研究。首先分析了具有最优检测性能的ML算法,为了降低复杂度,提出了基于ML准则的树搜索模型,研究基于深度优先搜索的SD算法和宽度优先搜索的K-Best算法。在K-Best算法中,并行处理和固定可控的复杂度使得该方法很适合在实际系统中应用；而K因子在K-Best算法中具有关键作用,通过选择合适的K参数,确保系统性能和计算复杂度的折中。(2)基于Turbo迭代检测算法的基本模型,研究了K-Best准则和MMSE准则下的Turbo检测器设计。对于Turbo-K-Best算法,着重分析了输出软信息LLR的计算方案,通过利用有限搜索列表策略和Max-Log策略,大大降低了计算复杂度；对于Turbo-MMSE算法,着重研究具有先验信息的MMSE准则滤波器,并将滤波后的其他天线干扰用高斯分布来近似,进行LLR计算。对Turbo-K-Best和Turbo-MMSE的性能和复杂度进行了综合分析,发现通过选择合适的K因子,可以使得Turbo-K-Best的复杂度与Turbo-MMSE持平甚至更低,并获得优于MMSE检测的性能。(3)将因子图FG模型引入到信号检测过程中。首先分析了基于因子图模型的置信度传递(BP)算法,研究了图中各个节点的信息传递过程。而在MIMO信号检测中,通过引入高斯干扰近似,也可以利用FG-BP算法在变量节点和观测节点之间不断进行似然比消息传递,通过不断迭代使得变量节点收敛至边缘概率,完成信号检测；详细分析了基于FG-BP的信号检测算法,并将该算法扩展到Turbo迭代结构中,得到了Turbo-FG-BP信号检测算法。除此之外,提出了联合LDPC译码和信号检测算法,用统一的因子图对信道和LDPC编码矩阵进行建模,在每一次迭代中同时进行变量节点、观测节点和校验节点三大类之间的信息传递,获得更多的外信息,从而获得更快的收敛和更好的性能；为了进一步提高检测性能,提出了基于分层LFG-BP的迭代检测算法,通过在每一次迭代内增加对各个发送符号的串行处理,进一步提升了收敛速率；针对一种特殊的应用的环境——发送天线和接收天线不对等的大规模天线系统——提出了QR-LFG-BP算法,利用QR分解减少因子图中的节点个数和连接线个数,从而减少信息的计算和传递过程,在不损失性能的基础上进一步降低复杂度。