现实世界的一些生产加工企业中,存在一类由生产加工站作为加工主体的生产线,称为传送带给料生产加工站(Conveyor-Serviced Production Station,简称为CSPS),并且随着社会需求的多样化,多品种生产方式成为一种趋势,此方式能够有效地提高生产效率并满足多样化生产等需求。论文研究了一类多品种工件到达的CSPS系统的前视距离(Look-ahead)优化控制问题,其优化目标是通过选择一个合理控制策略,实现系统的长远期望代价达到最优。理论上,该优化问题可以通过数值迭代的方法来进行求解,但是该方法依赖精确的模型参数。模型无关的Q学习算法可以克服这个缺点,但是需要对行动进行离散化处理,缺少信息泛化能力。在工件品种数增加的情况下,系统状态规模会呈现指数性增长,传统Q学习算法在面对大规模离散状态时会面临维数灾难问题。(1)针对以上的问题,论文引入具有较好信息泛化能力与快速学习能力的RBF神经网络与Q学习算法相结合,并应用到多品种CSPS系统的优化控制中,利用RBF网络对大规模的状态空间进行值函数逼近,实现了连续行动空间的Q学习,并给出了RBF-Q学习算法。弥补了理论求解中对模型参数的依赖和Q学习自身的不足。RBF网络的输入为状态行动对,输出为该状态行动对的Q值。针对不同的品种数情况,进行了仿真分析,并与传统的Q学习方法进行了对比。仿真结果表明,RBF-Q学习算法可以对多品种CSPS系统性能代价进行有效地优化,并且提高了学习速度。(2)进一步地,论文分析了将神经网络与强化学习相结合的RBF-Q算法,应用于多品种CSPS系统的前视距离优化控制中,在学习更新过程中所存在的问题,并针对问题给出了相应的解决办法即增加了经验回放机制和目标值函数网络,并给出了改进的RBF-Q学习算法进行求解。仿真结果表明,所提的算法具有良好的优化效果。