拓扑绝缘体和铁基超导体是当前凝聚态物理领域中两个重要而活跃的研究热点。拓扑绝缘体是一类全新的量子材料,其体电子态是具有能隙的绝缘体而边界或表面则是受时间反演保护的无能隙的金属态。与拓扑绝缘体相对应,其“姊妹”材料-拓扑超导体,它的体内为无能隙节点且具有奇宇称的超导态而边界或表面仍为正常金属态,同样引起理论与实验研究的关注。理论预言,拓扑超导体的涡旋芯可产生马约拉纳费米子束缚态。马约拉纳费米子之所以重要是因为人们有望借其构筑拓扑量子计算机。作为拓扑超导体候选材料,虽然人们对Cu掺杂的三维拓扑绝缘体Bi2Se3,即CuxBi2Se3,进行了大量的理论和实验研究,但是目前为止关于其中的涡旋钉扎的实验研究报道还十分有限。因此,开展CuxBi2Se3的涡旋钉扎机理的研究将能为全面理解其非常规超导电性以及在超导涡旋芯中探索马约拉纳费米子提供帮助。铁基超导体研究热潮始于2008年Kamihara等人在F掺杂的La Fe AsO中观测到26 K超导转变的开创性发现。2010年末,物理所Guo等人发现了不含剧毒性砷元素的新型铁硒超导体KxFe2-ySe2（30 K）,因其具有不同于其它铁基超导体的奇异物理特性而受到人们的广泛关注。实验研究证实,KxFe2-ySe2超导体具有相分离,即超导相与绝缘相在空间上独立分布。这里,我们将研究Mn掺杂对其相分离及其涡旋钉扎的影响,为将来合成体超导样品和相关铁硒超导体在高磁场领域的应用方面提供实验参考。本文的主要内容和结果如下:（1）利用布里奇曼法制备了高质量的单晶样品CuxBi2Se3（x=0,0.20）。通过测量磁滞回线和磁电阻曲线,首次在拓扑超导体候选材料Cu0.10Bi2Se3（3.65K）单晶样品中观测到“峰值效应”,即磁化强度/临界电流（密度）/电阻率在超导-正常态转变边界附近反常的增加/增加/减小的现象,并存在明显的各向异性。小的临界电流密度比率（0）/010-5表明Cu0.10Bi2Se3属于弱钉扎超导体。对于磁场平行于c-轴方向（∥c）,在峰值效应温度以下沿磁场强度增加方向,磁相图包含涡旋有序相（布拉格玻璃态）、有序-无序共存相（可塑性玻璃态）、无序相（非晶玻璃态）以及表面超导态。对于∥c,小的金兹堡参数?=1.16×10-5与大的量子电阻=8.56×10-2表明cu0.10bi2se3的热涨落效应较弱而量子涨落效应较强,进而可能在低温出现涡旋线的“量子蠕动”现象。（2）基于磁输运性质测量数据,研究了cu0.10bi2se3（=3.54k）单晶的各向异性面内电阻（xx）与临界电流（）随温度/磁场/驱动电流的变化。结果表明,cu0.10bi2se3的超导电性处于“干净极限”并且不存在泡利自旋-限制效应对上临界磁场（2）的影响,因而该样品可能存在理论预言的自旋三重态涡旋。分析了cu0.10bi2se3单晶的各向异性涡旋动力学行为,在峰值效应温度以下沿磁场增加方向,磁相图主要包含移动布拉格玻璃相、钉扎涡旋玻璃相以及退钉扎涡旋玻璃相等。（3）在低场区域,cu0.10bi2se3单晶的临界电流密度随磁场的变化存在∝-幂指数规律,符合弱集体钉扎行为特征,表明其中存在相当致密的弱钉扎中心。扫描隧道显微镜实验数据表明cu0.10bi2se3的弱钉扎中心源主要为点缺陷,可能为插层cu原子。进一步,基于广义反演方法结果,我们证实cu0.10bi2se3单晶的涡旋钉扎来源于电子载流子平均自由程涨落（δ钉扎）。最后,基于集体钉扎理论,分析了cu0.10bi2se3的反常涡旋钉扎行为,即峰值效应,并计算了纵（横）向涡旋关联长度（）及关联体积=2。在三维集体钉扎情形下,cu0.10bi2se3的峰值效应可以描述为在2附近由于非局域分布的倾斜模量44和局域的切变模量66的减小而导致涡旋晶格的弹性切变模量的软化塌缩,造成关联长度减小,进而快速增加体系的钉扎力。（4）利用熔融法制备了高质量mn掺杂的单晶样品k0.8fe2-zmnzse2（z=0,0.01,0.02,0.03）。晶体结构、电磁输运及微观形貌等数据表明mn能够明显促进k0.8fe2se2的相分离进而改善其超导性能,即mn掺杂能够提高超导屏蔽体积和临界温度。其原因可能在于,mn掺杂原子易于填充绝缘相的铁空位位置而引入局域晶格应力/畸变,进而改善超导相的微观结构。进一步,我们对比分析了系列样品的各向异性超导临界磁场、各向异性及相干长度。（5）基于磁滞回线数据,我们对比研究了mn掺杂对k0.8fe2se2样品的临界电流密度与涡旋钉扎机制的影响。相对于未掺杂样品,Mn掺杂与后淬火处理的未掺杂样品的临界电流密度被极大的提高。在=3 K时,我们在沿∥ab方向上,1%与2%Mn掺杂的样品中均观测到了二次磁化峰效应,然而此效应在沿∥c方向缺失。基于Dew-Hughes和Kramer的理论模型,我们对比分析了1%Mn掺杂与淬火处理的未掺杂样品的涡旋钉扎力与磁场强度的关系。结果表明,正常态点缺陷为主要的钉扎中心源,其可能来源于空间变化的插层K原子。我们指出,大体积的非超导K-Mn-Se夹杂相可以作为表面钉扎中心引起Mn掺杂样品在∥ab方向上二次磁化峰效应。