在大数据和机器学习时代,以新闻资讯为基础的互联网应用产品迅猛发展,用户进行新闻阅读的途径越来越多,带来了新闻资讯的指数爆炸式增长。这些海量的新闻资讯在满足了我们日常需求的同时,也使我们寻找所需的新闻资讯更加困难,对用户数据的采集以及新闻的合理推荐成为了各大新闻网站和APP的重要研究课题。新闻资讯类型不断丰富,数据形态逐步多样化,为用户画像提供了广阔的发展空间,在这种情况下基于用户画像的个性化新闻推荐应运而生。个性化推荐是在大数据分析和机器学习技术的基础上,通过研究用户的兴趣行为偏好,进行分布式计算,从而给用户提供高质量和符合兴趣爱好的个性化新闻资讯,解决信息过载的问题。用户画像的提取和完善过程,是个性化新闻资讯推荐的关键步骤,随着用户画像数量的指数爆炸式增长,利用大数据和机器学习技术,有效的存储、计算和更新用户画像,逐渐成为学术届和工业界的研究热点^[1]。本文从新闻推荐算法工程师的角度出发,基于A公司生产环境中稳定的基础用户画像,设计相似人群算法,使用Spark分布式计算框架计算用户动态行为日志,求得群体画像,完善了基础用户画像,并从用户画像特征,新闻特征和情景特征三个维度构建特征工程,为机器学习推荐算法提供基础数据服务。特征工程搭建完毕后,进行模型训练和新闻点击率预估,按照CTR点击率从高到低对召回新闻候选集进行精排序,最后为每位用户选取点击率最高的N篇新闻,进行新闻个性化推荐,实现新闻资讯精准分发。为了提供高性能、高可靠的存储性能,我们使用Hive存储特征数据,使用MongoDB非关系型数据库存储用户的基础画像和人群画像,构建出一套千人千面的个性化新闻推荐系统。