拓扑绝缘体是一种新的量子物态。二维拓扑绝缘体材料体内为有能隙的绝缘态,边缘为无能隙的金属态。这种无能隙的边缘态来源于其体能带结构的拓扑非平庸性质,受到时间反演对称性的保护。它具有自旋—动量锁定关系,非磁性杂质的背散射是严格禁止的。这些新奇的性质使二维拓扑绝缘体在自旋电子学器件、拓扑量子计算等方面有非常重要的应用前景。目前,理论上预言了很多材料是二维拓扑绝缘体。其中不少材料被预测为人们一直寻找的理想二维拓扑绝缘体,它们具有较大的体能隙,可以应用于室温等环境。同时,还具有电子结构比较简单和拓扑相可调控等性质。然而,大多数理论预言的二维拓扑绝缘体材料都有待实验证实。在本论文中,我们选择以理论上预言的两种理想二维拓扑绝缘体——WTe₂和Bi（111）薄膜为研究对象,利用扫描隧道显微镜/谱（Scanning Tunneling Microscopy/Spectroscopy,STM/S）表面分析技术和分子束外延（Molecular Beam Epitaxy,MBE）薄膜生长方法,对于两种材料可能存在的拓扑边界态进行研究。同时,对在MBE生长Bi薄膜过程中得到的Bi（110）/NbSe₂异质结新奇电子态进行了研究。本论文主要取得了以下研究结果:（1）在解理的1T′-WTe₂块材样品上发现其边界具有一维的局域边界态。这种边界态对边缘结构和取向不敏感,表现出鲁棒性,表明该边界态具有拓扑非平庸的性质。结合第一性原理计算,我们进一步证实了实验观察到的边界态是拓扑非平庸的,它来源于单层1T′-WTe₂拓扑非平庸的电子结构。因为WTe₂层间是很弱的vdW相互作用,它没有改变单层1T′-WTe₂的拓扑性质。这个结果为单层1T′-WTe₂是二维拓扑绝缘体提供了间接的实验证据。另外,实验中发现解理的1T′-WTe₂样品中有较多内嵌的纳米带,纳米带两边的畴界表现出面内电极化效应。（2）利用MBE方法,在超导衬底2H-NbSe₂单晶上制备了原子级平整、大面积的高质量Bi（111）薄膜。对Bi（111）薄膜边缘结构和局域电子态的研究发现,Bi（111）薄膜的台阶存在两种无磁性的边缘结构,分别是Zigzag边界和2×1重构边界。其次,在两种构型的边界上都存在一维的拓扑边界态,两种边界的拓扑边界态在能量尺度和实空间上表现有所不同,证明可以通过修饰边界结构来修改拓扑边界态的表现形式。在不同厚度Bi（111）薄膜的单层台阶边界上都观察到了一维拓扑边界态,包括薄膜厚度大于理论预言的拓扑相变临界厚度。结合第一性原理计算和微扰理论分析,证明了双原子层（Bilayer,BL）Bi（111）的拓扑边界态与Bi衬底的厚度无关。衬底厚度增加改变了整个体系的拓扑性质,但是1BL Bi（111）体能带的拓扑非平庸性质依然保留,所以Bi（111）薄膜的拓扑边界态总是存在的。另外,我们还在Bi（111）2BL高的边界观察到了一维拓扑边界态。最后,由于超导近邻效应,Bi（111）薄膜内部和边界上诱导出了超导态。边界可能具有拓扑超导的性质,将边界态打断后有可能探测到马约拉纳零能态。（3）利用MBE方法,在超导衬底2H-NbSe₂单晶上制备了原子级平整的类黒磷结构Bi（110）薄膜。对Bi（110）薄膜结构和电子态的研究发现,Bi（110）薄膜的电子态受到薄膜厚度的纵向调制和莫尔条纹的横向调制。密度泛函理论（Density Functional Theory,DFT）计算的结果表明,Bi（110）/NbSe₂异质结界面和Bi-Bi层间具有较强的准共价键相互作用。正是界面和层间的准键相互作用,导致Bi薄膜的电子态受纵向和横向的调制。由于第二层Bi（110）薄膜费米能级附近有很高的局域态密度,导致在第二层Bi（110）薄膜上观察到了超导近邻效应增强的反常行为。同理,可推测第二层Bi（110）薄膜具有非常大的塞贝克系数,有很好的热电性质。另外,这种层间准键相互作用的效应还可以推广到其他的二维层状材料杂化体系中,届时更多的复杂量子现象将有可能被观察到。