热对流不仅在行星对流、大气、海洋环流、地核、地幔对流等自然现象中起着重要作用,而且在晶体生长、核反应堆设计、工业设备冷却等工业生产中有着重要应用,近一个多世纪以来一直是科学界与工业界感兴趣的重要研究课题。本文通过稳定性分析与直接数值模拟相结合的方法,研究封闭圆筒与圆环形容器内的热对流不稳定性与流场非线性演化,分析流动失稳机理,模拟流动向混沌转捩的过程等。主要工作包括如下几个方面：以圆筒内Rayleigh-Benard对流为模型,研究了轴对称流动失稳特性对高度半径比(A=1,0.9,0.8,0.7)与普朗特数(0.02≤Pγ≤6.7)的依赖性。稳定性结果表明A=1,0.9,0.8时稳定性曲线有迟滞出现,A=0.7时流动随普朗特数变化失稳到多种不同的三维流动。进一步的机理分析的结果表明流动失稳是基本流径向、轴向剪切的惯性机制同浮力机制的共同作用导致的,不同因素在不同参数下作用效果也不同。对轴对称流动失稳后的流动进行直接数值模拟,发现了非线性阶段流动发展的多样性,包括A=1时的多种流动形态与A=0.7时流动向混沌转捩的多种方式。以侧壁加热圆筒内热对流为模型,研究了包括侧壁部分加热、侧壁抛物型加热以及底面旋转作用下轴对称流动失稳特性随控制参数变化的情况。侧壁部分加热与侧壁抛物型加热的稳定性结果定性一致,通过机理分析发现流动失稳也主要是惯性机制与浮力机制共同作用的结果,与圆筒内Rayleigh-Benard对流不同的是,由于径向温度梯度的存在,这里惯性机制主要是基本流径向速度的径向梯度与轴向速度的轴向梯度对扰动的输运作用。上底面旋转时离心力驱动流动与热对流反向易导致不稳定性的发生,下底面旋转时离心力驱动流动会增强热对流的主涡,一般会使流动更稳定,底面旋转时流动的稳定性还与高度半径比与普朗特数密切相关。以圆环内Rayleigh-Benard对流为模型,研究了一次不稳定性(对流发生)与二次不稳定性(轴对称流动失稳)以及非线性阶段的流动发展。对流发生的不稳定性依赖于半径比与半径高度比两个参数,对流斑图的选择总是按照使用最少的能量来维持流动的原则。轴对称流动失稳不仅依赖于圆环的几何形状,还受普朗特数的影响,稳定性结果表明圆环内轴对称流动的失稳性质同相近半径高度比下圆筒内轴对称流动的失稳定性一致,圆环内壁的作用主要是增加了临界瑞利数与改变失稳模态,对失稳机理没有本质影响。数值模拟结果表明,窄缝圆环内的三维流动相对比较稳定。轴对称流动失稳后的三维流动发展受圆环内壁影响较大,圆环内壁起到明显的致稳作用。