近年来,腔光机械引起了人们的广泛关注并取得了迅速的发展。腔光机械关注光学腔模和机械振动自由度之间的耦合,在引力波探测、机械记忆存储、量子信息处理等许多领域都有应用。大多数研究腔光机械的理论工作都考虑机械振动的振幅很小的情况,通过将腔模频率在机械振子的静态平衡位置处作展开,可以把光机械耦合近似处理为线性耦合或二次耦合。当系统被高功率激光驱动时,机械振动的振幅可以很大,甚至有可能达到与驱动激光波长可比的程度,我们称这种情况为极大振幅情况。在这种情况下,应该严格按照腔模频率与机械振子位置的函数关系来考虑光机械耦合。另外,在机械振子的振动周期内,不同结构的腔光机械系统中会发生多个光学腔模被激发或者同一个光学腔模被多次激发的现象,这将导致系统经历更为复杂的动力学过程。本论文以极大振幅情况下腔光机械系统的经典动力学和量子性质为研究重点,主要内容分为以下三部分:一、我们搭建了回音壁模式微腔的制备和检测实验平台,用于开展腔光机械研究。目前我们可以制备出品质因子分别达到108、106和107的微球腔、微盘腔和微芯环腔。通过将微腔与直径接近1μm的光纤锥耦合,我们可以实现对微腔的光学检测。我们在实验上观察到了由于光机械耦合而导致的微腔传输谱的周期性振荡现象。二、我们研究了极大振幅情况下可移动腔镜型腔光机械系统的自维持振荡和动力学多稳态现象。在相空间中,机械振子的自维持振荡极限环呈边缘为锯齿状的椭圆形。机械振子可以表现出动力学多稳态,在不同的初始条件下,可以到达不同的自维持振荡状态。通过分析机械振子的振动过程和相伴随的腔中光子数的变化过程,我们得到了自维持振荡能量平衡条件的解析表达式。我们还研究了机械非线性效应对机械振荡的影响。三、我们研究了极大振幅情况下腔中薄膜型腔光机械系统的经典动力学和量子纠缠。通过数值求解系统的经典运动方程,我们发现薄膜能够以边缘为锯齿状的椭圆形极限环进行自维持振荡,并且能够表现出动力学多稳态。我们研究了经典轨道的量子涨落部分的动力学过程并使用对数负值度计算了薄膜和腔中光场的纠缠。我们发现系统的经典动力学过程和量子纠缠的演化具有一定的同步性。