过渡族金属层状化合物具有丰富的结构与物性。具有层状结构的铁基超导体一经发现,就引起了人们的广泛关注,然而高温超导体的超导机理,一直是凝聚态物理中亟待解决的一大难题。考虑到铁基超导体中超导电性与磁性之间的竞争关系,本论文对铁基超导体中化合物中的超导电性与磁性进行了研究。此外,考虑到磁阻挫材料对磁有序的抑制,探索了几种新型磁阻挫层状化合物,并对其结构和物性进行了表征。本论文的主要结果如下:1,通过传统的固相反应法,合成了一系列的Cu和Li混占位的样品,首次实现了从CuFeAs到LiFeAs的连续固溶体。研究表明,随着Li掺杂量的增加,材料的反铁磁转变温度逐渐被抑制,在x=0.5时,材料反铁磁完全被抑制,随后出现超导。从Cu_1-xLi_xFeAs体系中磁性与超导电性随Li掺杂量变化的电子相图可以发现,Cu_1-xLi_xFeAs具有和其它的FeAs基超导体系不同的特点,即Cu_1-xLi_xFeAs体系中不存在磁性与超导电性的共存,且CuFeAs可以看做是Li FeAs超导体的母体。晶体结构精修表明,阴离子高度的变化在调节该体系化合物的磁性与超导的竞争方面起到了至关重要的作用。第一性原理计算表明,费米面嵌套理论在Cu_1-xLi_xFeAs体系并不适用。我们的实验结果为深入研究FeAs基超导体的超导机理提供了很重要的参考。2,通过采用中等温区的固相反应法,合成了一个具有低碱金属含量的CsFe_4-δSe₄的化合物,有效地避免了相分离的发生,它与碱金属插层的FeSe基超导体有着紧密的联系。中子粉末衍射,电子衍射以及高分辨球差电镜确认CsFe_4-δSe₄是一个具有Cs空位有序超结构的纯相样品,空间群为Bmmm。能带结构计算发现该化合物具有独特的费米面构型,电子口袋的中心在Γ点。此外,与FeSe和A_xFe₂Se₂相比,该化合物在费米面具有中等浓度的态密度。样品不具有超导电性可能是来源于样品中铁空位含量过高。此外,我们对材料进行了一系列的补铁尝试,并对Fe位以及Se位掺杂效果进行了研究。3,合成了三个具有三角晶格反铁磁的新型层状化合物FeAl₂Se₄,Co_0.66Al₂Se_3.5和Ni_0.61Al₂Se_3.55,它们具有很强的磁阻挫特征。X射线粉末衍射表明它们的空间群为P-3m1。对于FeAl₂Se₄样品,磁化率测试得到的居里外斯温度为-200 K,自旋大小为2。尽管具有如此大的自旋以及高的居里外斯温度,直流以及交流磁化率测试表明FeAl₂Se₄在14 K时表现出类似自旋玻璃的特征,然而,中子粉末衍射研究没有发现任何和长程磁有序或者短程磁有序有关的特征,比热的研究表明该材料的磁比热随温度呈现一个二次方的对应关系,说明材料有着自旋液体的特征。因此,在自旋为2的FeAl₂Se₄材料体系中存在着自旋液体与自旋玻璃共存的现象。对于Co_0.66Al₂Se_3.5,磁化率的拟合得到的居里外斯温度为-216 K,磁冻结温度为4.5 K,可以得到阻挫因子为48。对于Ni_0.61Al₂Se_3.55,磁化率的拟合得到的居里外斯温度为-62 K,但是磁性上没有发现任何磁冻结或者长程序的迹象。考虑到从FeAl₂Se₄到Co_0.66Al₂Se_3.5再到Ni_0.61Al₂Se_3.55,材料的自旋逐渐减小,我们认为这是导致材料的阻挫程度逐渐增大,并且朝着自旋液体特征更明显的方向转变的主要原因。