近年来原子核的量子相变问题一直受到相当的关注，国内外相继开展了很多相关的物理研究.相互作用玻色子模型(IBM)是一个代数模型，用以研究原子核的集体运动.由于IBM模型的解析性，可以用来进一步研究过渡区的量子相变问题.本文在IBM模型框架下，在提出的O(6)高阶项方案下，首先研究了过渡区核154Gd的结构与性质并和传统的四极-四极作用方案及实验数据进行对比，然后对N=90具有X(5)对称性的同中子素链做了系统分析，最后扩展到整个Casten三角形，进一步探讨了整个过渡区系统的量子相变行为.研究结果表明:　　1)传统方案和O(6)高阶项方案都可以描述过渡区154Gd核的实验低激发态能级与电四极跃迁性质，并且O(6)高阶项的特殊的代数结构可以更合理地描述154Gd核的带间跃迁性质.　　2)进一步对中子数N=90的具有X(5)对称性的同中子素链152Sm，150Nd,154Gd核的性质做了系统分析，研究结果表明O(6)高阶项方案可以比传统的SU(3)四极-四极作用方案更合理地描述这些核的带间跃迁性质.　　3)最后把O(6)高阶项方案扩展到Casten三角形的整个过渡区，并研究了整个过渡区系统的量子相变行为.研究结果表明从球形到γ不稳定过渡区出现了相变点，此即E(5)临界点;从球形到轴对称形过渡区出现的相变点即为前面研究过的X(5)临界点.从研究结果还可以看出随着玻色子数的增加，系统的量子相变特征也变得越来越明显.