拓扑绝缘体是一种体内绝缘而表面导电的新型量子材料,其金属表面态的自旋和动量锁定,并且受时间反演对称性的保护,因而在自旋电子学、新型电子器件等方面具有重要的应用前景。理论预言将磁性原子掺杂到拓扑绝缘体内部或吸附于其表面,会形成面外铁磁序,并在表面态的狄拉克点处打开能隙,可以实现量子反常霍尔效应。在本论文中,我们研究了拓扑绝缘体在表面和体内进行磁性掺杂后的磁性行为,包括在表面吸附磁性分子酞菁铁(FePc)、在体材料中掺杂磁性原子两方面(包括稀土金属Gd及过渡金属Fe、Cr、V),具体如下:第一、表面吸附磁性分子。我们将FePc分子吸附于Bi2Te3和Bi2Se3表面,结果发现在两种表面上,FePc分子都形成了有序的单层分子薄膜,但是在Bi2Te3表面具有更大的表面覆盖密度:0.64分子/nm2,这远大于在一般金属表面的覆盖度。进一步,我们详细研究了Bi2Te3上的FePc分子的表面结构及磁性,发现在Bi2Te3上,由于FePc分子在表面的吸附位的不同,FePc分子形成了包含20个FePc分子的超结构。但是,在如此高的表面覆盖度下,自旋极化扫描隧道镜的测量表明分子在衬底上没有形成面外磁有序,而只具备面内易轴的顺磁特性。理论计算进一步证实了这一结果,同时也发现这可能是与分子衬底间主要是通过范德瓦尔斯力结合有关。计算还表面,通过增大分子衬底间的相互作用虽不能让体系的易轴方向改变到面外,但可明显对FePc分子的磁矩和各向异性产生影响。这表明了选择合适的分子和衬底对实现拓扑表面态磁性的重要性。第二、掺杂稀土金属元素。我们利用改良的布里奇曼法生长了掺杂钆元素的Bi2-xGdxSe3单晶。通过X射线衍射仪发现材料具备非常高的质量;然而通过电感耦合等离子体技术却发现实际掺杂浓度最高只有1%;利用扫描隧道谱和角分辨光电子能谱同时发现体系并没有在狄拉克点处打开能隙,完整的拓扑表面态结构仍然保持;振动样品磁强计的测量表明钆保持了其本身7μB的大磁矩,但体系并没有形成铁磁序,而只形成了面内顺磁性。Gd的大磁矩与过渡金属掺杂后磁性原子的磁矩减弱相比有很大改善,但Gd离子过于局域的磁矩显然不利于整体铁磁性的形成,要实现较强的铁磁性拓扑绝缘体,必须在局域性和巡游性之间找到合适的平衡点。第三、掺杂过渡金属元素。在拓扑绝缘体体材料中掺杂过渡金属磁性元素,可以实现铁磁性的拓扑绝缘体。我们通过在Sb2Te3中掺杂Cr获得了面外磁有序,并且证明了其磁性与载流子浓度相关。相比较而言,在Sb2Te3中掺杂V可以获得具备更高居里转变温度和更大矫顽力的磁性拓扑绝缘体。进一步,在Bi、Sb、V和Te的四源共生长的模式下,通过调节Bi、Sb、V三种元素的含量,可以将BixSb2-x-yVyTe3的费米能级的位置调节到狄拉克点附近;并且利用加背栅的方法,实现了将体系的载流子类型从p型到n型的调节。最终,在5QL的BixSb2-x-yVyTe3材料中发现,其霍尔电阻接近一个量子电阻值,但是与量子反常霍尔效应中纵向电阻趋近于零不同,其纵向电阻却展现出非常大的耗散行为。我们认为,这可能与样品较高的无序性相关。