原子力显微镜（Atomic Force Microscope,AFM）可以将微观世界难以直接观测的结构信息以图像的形式展现出来,是探索微观世界的重要科研工具。目前,AFM扫描技术向着更精确、更快速、更稳定的方向迅猛发展,其控制精度直接影响着AFM的扫描后的成像效果。现代商业AFM系统中通常使用传统比例积分微分控制方法（PID）作为控制策略。但是,传统PID控制器存在参数整定困难的问题,难以找到最优的控制参数实现对压电陶瓷驱动器的精确控制,导致AFM扫描无法达到预期效果。因此,通过改进PID控制方法可以提高系统控制精度,起到优化AFM成像质量的作用。本文首先研究AFM系统的各组成部分,并以自制AFM系统为基础,结合数据建模与机理建模的方法建立AFM系统仿真平台,着重研究了PID控制参数对系统性能的影响。针对传统PID控制方法存在参数整定困难导致控制精度不足的问题,使用强化学习中的深度确定性策略梯度算法（Deep Deterministic Policy Gradient,DDPG）在系统运行中寻找最优的PID控制参数组合,设计了DDPG自适应PID控制器（DDPG-PID）。通过Simulink平台完成了期望轨迹跟踪实验,实验结果表明DDPG-PID控制器能够有效提升AFM系统控制精度。此外,针对强化学习容易陷入局部最优的问题,使用粒子群算法全局寻优后DDPG算法局部微调的策略,对DDPG-PID控制器进行改进。仿真实验结果说明,改进后的DDPG-PID控制器控制精度更高且稳定性更好。为验证控制方法的实际性能,在自制AFM系统中进行了样品扫描实验,并使用图像清晰度算法评价图像质量。实验结果表明,DDPG-PID控制下的AFM成像图片表面平滑,细节丰富,图像的清晰度更高。综上所述,相较于传统PID控制方法,DDPG-PID控制器可以有效地提升AFM系统扫描精度,进而提高AFM扫描成像质量。