随着地面移动通信速率的不断提升和大众对通信业务需求的不断增长,现有的卫星通信技术无法满足宽带、高速、高可靠性的要求,亟需引入新的技术提高系统容量和传输速率。多输入多输出(Multiple-input and Multiple-output,MIMO)可以在不增加带宽和发送功率的条件下,实现数据的高速传输,有效提高频谱利用率。因此,将MIMO技术引入卫星通信已经成为重要的研究课题。本文首先研究了由两颗双极化静止轨道卫星构成的双星双极化卫星MIMO通信系统,使用Markov链建模了信道状态的变化,考虑了时间相关性、多普勒效应、阴影效应、多径效应、极化分集和空间分集对信道的影响,给出了一种双星双极化MIMO信道建模算法。在信道建模的基础上,本文研究了双星双极化卫星MIMO系统的传输技术,采用正交空时分组(Orthogonal Space-time Block Code,OSTBC)码和准正交空时分组码(Quasi-orthogonal Space-time Block Code,QOSTBC),研究了卫星MIMO通信系统的误码率性能。针对单颗多波束卫星服务多个地面用户的场景,本文还研究了卫星单播传输方式下的用户分组算法。每个卫星波束只服务一个用户,所有用户被分成多个小组,同一小组的用户占用同一个时隙,同一小组内的用户以空分多址(Space Division Multiple Access,SDMA)方式被卫星服务,不同小组以时分多址(Time Division Multiple Access,TDMA)方式在不同时隙被卫星服务。在此框架下,本文提出了一种面向和速率最大化的用户分组算法,序贯的将用户依次加入到不同的小组中直到和速率无法继续增加为止。然而,在上述算法中,部分用户将得不到卫星的服务。为了让所有的用户都能被卫星服务,本文还提出了一种兼顾公平性的和速率最大化用户分组算法。此外,本文还研究了多波束卫星组播传输方式下的预编码设计,在卫星总功率约束和用户服务质量(Quality of Service,QoS)约束条件下,面向能量效率最大化进行预编码设计,利用连续凸逼近(Sequential Convex Approximation,SCA)和Charnes-Cooper变换,将非凸分数规划问题转化为凸优化问题求解。最后通过仿真验证了所提的算法的有效性。