量子相变是量子涨落驱动量子多体系统在不同相(零温下稳定的基态位形)之间转化的重要现象。对于量子相变的各种特征的研究是理解量子多体系统动力学结构的重要途径，也是近年来原子核物理、统计物理、凝聚态物理、原子分子物理等领域中的一个前沿热点。人们在考察中重和重质量原子核的低激发谱时发现，体系的动力学结构主要是由系统的集体运动主导，而研究原子核结构的一个重要的集体模型就是相互作用玻色子模型，简称IBM。本文研究的主要内容之一就是利用IBM研究原子核系统的形状相变(量子相变)。首先，通过系统地分析IBM中的各种特征量在相变过程中的有限玻色子数效应(有限Ⅳ效应)，我们发现，各种特征量按照其在两相之间的演化行为可以分成三类：第一类特征量在有限玻色子数的情况下，其演化行为对于不同级次的相变没有定性的差别，这类特征量包括基态波函数的重叠、电四极跃迁几率、激发态能级等；第二类特征量在小玻色子数的情况下，其演化行为的特征可以用来区分相变的级次，而当玻色子数大于一定数值时，其在不同级次的相变的过程中的演化行为没有定性的差别，例如，表征激发态电荷半径和基态电荷半径之间差值的同质异能移动；第三类特征量的典型代表是电四极跃迁几率比，由于一级相变的临界区内存在着两相竞争，使得这类特征量的演化行为表现出扭摆的特征，即是非单调的，而对于二级相变，其演化行为保持着单调性，且随着玻色子数变化，这类特征量在不同级次的相变中的演化行为的差别仍然保持。我们从理论上分析和与已有实验比较两方面说明第三类特征量可以作为自洽的、不依赖标度的有效序参量来鉴别实验上原子核的形状相变以及区分相变的级次。进一步研究表明，几乎所有不依赖于参数的特征量，例如能级比、电四极跃迁几率比，在一定玻色子数以上总是可以区分不同级次的相变，而且这些特征量无论在一级还是二级相变的临界点附近都是近似Ⅳ标度不变的。另外，我们还发现同质异能移动和电四级跃迁几率比，也就是第二类、第三类特征量，在定性或者定量上对玻色子数是相当敏感的，据此我们从量子相变的角度肯定了实验上与IBM符合最好的情况是那些玻色子数目与原子核价核子对数相当的情形。在实验上，我们利用各种有效序参量系统地考察了原子核系统中各种同位素链和同中子素链的结构演化，说明以108pd作为临界核的中子数等于62的同中子素是一条新的二级相变轨迹，而且是目前实验与理论符合最好的二阶相变轨迹。　　 根据E(5)对称性，我们构造了一个具有临界点对称性的代数模型，F(5)模型，并在数值上证实了F(5)模型在大N极限下可以精确地再现在Bohr哈密顿量基础上建立起来的E(5)模型的结果。利用量子数代换的方法，我们把F(5)模型推广到X(5)、E(5/4)等临界点对称性，同时提出一个描写E(5)对称性到X(5)对称性演化的方案，并且分别在理论和实验上验证了这一方案的有效性。进一步，我们把F(5)模型推广到n维欧几里德空间，给出了一个可以描述在任意维欧几里德空间中有关无限深势阱问题的代数哈密顿量，并在U(3)振动子模型的框架下严格证明了这一推广。相应的方法也应用到IBM中，同时提出了一个有关IBM相图的大Ⅳ猜想。　　 最后，我们从平均场理论和精确数值解两方面系统地研究了U(4)振动子模型中的量子相交，进而验证了不同相互作用玻色子系统中的量子相变的普遍特征。此外，我们还构造出一个可以近似描写U(4)振动子模型中的相变临界点动力学的几何模型，E(3)模型。利用连续幺正变换技术以及精确数值解的方法，我们提取出临界点处的各种特征量的标度因子，进而从特征量的标度行为上证实了E(3)模型的有效性，并在实验上找到了一个可能具有E(3)对称性的例子。