拓扑绝缘体已经成为当今凝聚态物理领域一个研究热点，吸引了广泛的关注。拓扑绝缘体中极强自旋轨道耦合引起很多奇特的性质。其中吸引人的一点就是理想的拓扑绝缘体表面可以用低能的二维无质量狄拉克波函数描述，且电子动量与自旋锁定。由于拓扑绝缘体中的电子的自旋螺旋结构，电子在费米面绝热旋转2π会导致一个非平庸的Berry相π。这一性质导致了无能隙的拓扑绝缘体表面的背散射禁戒与反弱局域效应。杂质散射是研究表面态的重要手段之一，因此研究拓扑绝缘体表面的量子散射问题是非常有必要的。由于表面电子的狄拉克谱及自旋轨道耦合引起的费米手性，杂质散射效应会导致拓扑绝缘体的表面态表现出与传统的半导体或者金属表面的二维电子气不同的行为。　　本文首先理论上设计了一个扫描隧道显微镜AB干涉仪，并通过观测拓扑绝缘体表面局域态密度的AB振荡来揭示自旋分辨的局域态密度中的类弱反局域到弱局域效应的转变过程。在拓扑绝缘表面，无论是否存在能隙，总的局域态密度的实空间AB震荡周期均是单位磁通量子Φ0=hc/e(弱局域)。然而，无能隙的拓扑绝缘体表面的自旋分辨的局域态密度却以Φ0/2周期做AB振荡，即呈现出类弱反局域效应。但是随着表面能隙的增大，自旋分辨的局域态密度的AB振荡周期从Φ0/2逐渐向Φ0周期转变。研究发现Rashba自旋轨道耦合作用下的普通金属Au(111)面的自旋局域态密度中的AB振荡周期是Φ0。　　其次，研究了拓扑绝缘体表面的量子栅栏及量子镜像效应。非磁的，反铁磁的，以及铁磁的量子栅栏会引起不同的共振态。有趣的是，铁磁栅栏中电子自旋是能量分离的，因此可以用来操纵拓扑绝缘体表面的载流子自旋。在椭圆铁磁栅栏中发现了清晰的磁性杂质引起的量子镜像，而在非磁性和反铁磁栅栏中量子镜像很弱。此外，还讨论了量子栅栏对两个磁性杂质间相互作用的影响。这些显著的效应亦可以通过自旋极化的扫描隧道显微镜实验来测量。　　另外还系统地研究二维拓扑超导体表面的杂质态与杂质干涉效应。首先在单杂质过程中发现了临界自旋耦合mc和临界的化学势μc。这些临界参数对应零能态。通过分析自旋局域态密度我们发现当耦合参数超过mc时，体系从自旋非极化态转变到自旋极化态。继而研究了双杂质散射情形。杂质间距离及自旋相对取向可以改变准粒子干涉效应，从而实现对成键态和反成键态的调控。对于多杂质情形，讨论了椭圆形的量子栅栏的谱性质，量子镜像，及其对双磁性杂质的量子干涉的影响。我们发现非磁性的(磁性的)的量子栅栏对量子干涉的影响较强(弱)。通过对杂质-拓扑绝缘体体系和杂质-拓扑超导体体系做了简要的比较，发现与杂质-拓扑超导体体系不同，在拓扑绝缘体表面只有将非磁性的标量散射势计入时才能引起带隙内的准粒子共振态。　　最后，发展了两套拓扑绝缘体表面电子的多重散射分波法的普遍理论，给出了狄拉克电子同杂质间的多重分波散射理论的解析公式，并应用该理论计算了非磁性与磁性杂质的散射截面等问题。在非磁性杂质散射中发现：一方面当拓扑绝缘体表面存在带隙时，微分散射截面的对称性降低且发生了背散射；另一方面，在带边处总的散射截面给出一个很尖锐的共振峰。这个共振峰可以用来确定拓扑绝缘体表面的带隙宽度。此外，对于双杂质散射而言，微分散射截面中的干涉效应很清楚。当计算中计入更高阶的分波时，总的散射截面中可以引入其他的共振峰。不同于非磁性杂质散射，对于磁性杂质，在散射截面的计算中s-波近似并不能收敛，必须计入高阶散射分波。在单杂质散射中，背散射随着有效磁矩(有效磁交换场)M的增大逐渐增强；磁性杂质散射导致横向电阻始终保持负号，这可能有助于人们调节体系的霍尔电压；通过比较输运散射截面与总散射截面，可以确定背散射是否强于向前散射。与总散射界面类似，输运散射截面和霍尔电阻在多杂质散射过程中均会由于干涉效应而发生振荡。这些理论还可以进一步推广到自旋极化情形。该理论还可用来模拟扫描隧道显微镜探针在拓扑绝缘体表面扫描探测的电流及自旋流的分布。