磁悬浮技术是由多种高新技术结合的机电一体化技术,研究初期应用于军事、宇航等高端技术领域,随着控制技术的不断发展与完善,磁悬浮技术已经逐步向交通、电器、材料等一般工业方面发展,由于磁悬浮系统具有无噪声、无污染、能耗低等优点,得到众多学者的广泛关注。磁悬浮系统具有典型的非线性特性,采用传统控制方法设计时,需要依赖系统的精确模型。Q网络是一种无模型的强化学习方法,在模型未知的情况下,以奖励函数为反馈,通过迭代学习找到最优策略。本论文以磁悬浮球为研究对象,采用Q网络方法进行控制系统设计。首先,论文分析磁悬浮球系统的物理特性,建立系统动力学方程和非线性模型,通过平衡点附近线性化得到线性模型,指出磁悬浮球系统具有不稳定性;论文采用传统方法设计线性控制律,通过对非线性系统应用表明,经典校正方法能够保证磁悬浮球系统稳定,加入积分环节可以消除稳态误差,系统稳态性能得以改善,但是存在磁悬浮系统参数获取困难、控制器适应性不强等问题。为此,论文提出一种Q网络强化学习控制方法,能够实现磁悬浮球系统的连续状态空间控制。文中采用Q网络方法设计强化学习控制器,使用神经网络代替Q值表来完成状态-动作对Q值的映射。设计中引入深度Q学习网络(DQN)中的经验回放方法,解决了神经网络训练不稳定问题,通过设置目标值函数和估计值函数双网络,提高了神经网络收敛性。为解决因训练数据有偏而导致的神经网络收敛于局部最小的问题,在Q网络方法中引入稳态评价指标,弥补了传统强化学习方法无法对数据进行评价的不足,通过对训练数据的筛选更新,有效降低了神经网络收敛于局部最小值的可能性,减小稳态误差,提高控制精度。最后,论文应用训练结果对磁悬浮系统进行了数值仿真,实验结果表明,Q网络控制方法对非线性磁悬浮系统具有良好的控制效果,且能够有效地抑制扰动。Q网络强化学习控制器克服了传统控制器设计方法对模型信息的依赖性,实现了磁悬浮系统的无模型控制。