推荐系统出身于互联网时代,用于解决大规模信息爆发问题,可以有效帮助人们在数字大海中寻找需要的信息或商品。目前,互联网公司大多都为他们的系统配备了推荐引擎来取得更好的收益,比如美国著名的电子商务网站亚马逊,其收入的百分之30得益于在线系统部署的推荐引擎。在国内,同样有一大批公司在其在线系统上使用着推荐技术。例如淘宝、京东、拼多多等人们经常使用的在线购物服务商;网易云、爱奇艺等娱乐服务供应商等,正是这些在线服务的存在使得我们现在的生活方便快捷又多姿多彩。目前现有的推荐系统大多都是基于统计学知识以及机器学习方法构建,通过对用户的历史记录进行处理,来获得用户画像和物品画像,随后将这些特征输入各种推荐系统模型进行运算从而产生一个的结果。然而这些推荐方式仍属于静态推荐,因为他对于用户的反馈信息不能动态地加以应用,所以推荐的结果只能是针对单一时刻的效果而无法做到长效动态地进行推荐。为了实现长效动态的推荐效果,本文决定将强化学习与推荐系统进行结合。强化学习是一种用于实现序列交互过程收益最大化的学习方法,很适合解决目前推荐系统存在的问题。本文针对传统的推荐算法只能静态周期性更新而缺乏长效性这一问题,提出了一种基于强化学习的电影推荐系统,系统采用离线收集的用户交互日志中的数据来对推荐算法进行训练,通过对日志数据进行处理来获取可以用于强化学习推荐算法的训练数据,同时对在强化学习推荐算法训练过程中产生误差的来源进行分析,并提出了解决方法。主要工作内容和结论如下:（1）设计了一种基于强化学习的电影推荐系统,同时提出了一种日志数据的处理方法,用于生成强化学习推荐算法训练所需要的强化学习四元组数据。（2）针对经典的强化学习算法进行修改,分别实现了基于DQN的推荐算法、基于DDPG的推荐算法以及基于Reinforce的推荐算法。分析了以Movielens-100k数据集进行训练时,强化学习推荐算法出现误差的来源。（3）针对使用离线数据集训练强化学习推荐算法容易出现训练误差的问题,提出一种将模仿学习与强化学习相结合的推荐算法,通过在训练过程中将状态与动作进行约束来限制强化学习产生误差。（4）针对模仿学习与强化学习在同一个网络训练时,存在训练效果不稳定不可控的问题,本文提出一种解耦网络的改进训练方法,通过使用两个网络分别训练强化学习和模仿学习,并使用一个参数来调节模仿学习对于强化学习动作选择范围的限定程度,以此来控制训练效果的偏向。（5）通过在全新数据集上再次实验来测试本文提出的推荐系统的效果,最终验证了本文所提出的推荐系统以及改进训练方法的有效性。