基于商品信任度和社交网络的推荐系统设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:monorrch
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着电子商务、社交和移动技术的火热发展,产生了一种基于移动互联网的空间,借助于社交软件为工具,以人为中心,社交为纽带,有别于传统电子商务的新商业——社交电商。而社交电商平台是用于发布和规范社交电商商品的平台。由于社交电商商品来自成千上万的移动端注册个人商家且商家入驻门槛较低,商品质量参差不齐,所以需要保证平台优先推广的是货真价实的商品,社交电商平台引入信任商品推荐系统引导用户购买或分享高信任度商品,提高购物体验,提升口碑留住更多客户,同时获取更多的盈利。本文主要基于公司社交电商平台的商品推荐的实际项目,研究在百万商品中分析商品的信任度,在部分开源框架基础之上进行数据采集、离线计算及实时推荐架构设计。根据用户行为,实时推荐商品给用户,降低用户自主选择商品的难度,提高用户的购物体验及社交电商平台的商品销量。项目使用大数据框架实现实时推荐,使用商品排序算法和商品相似度算法训练推荐模型并生成推荐结果。研究内容如下:(1)全局商品信任度算法:基于马尔科夫链蒙特卡罗模型和时序性用户行为数据计算商品排名。首先基于用户的行为,计算出商品关联系数的矩阵;然后根据关联系数矩阵,计算状态转移概率矩阵;最后根据状态转移概率矩阵,经过足够长的时间演化后,计算出每个商品被购买的概率,即用户对商品的信任度。重点是建立商品连接矩阵以及状态转移概率矩阵。(2)实时推荐的架构设计:首先设计埋点日志,收集用户行为记录;然后使用Flume采集用户行为记录放入Kafka;通过Spark Streaming分析用户行为并生成实时推荐结果。(3)离线计算架构设计:离线数据采集、离线计算。离线计算使用Spark主要用于生成推荐模型和根据模型生成初始推荐结果;业务处理层主要用于业务干预、过滤及排序,生成最终推荐结果。在本文提出的算法中,计算商品信任度,以及结合商品信任度和社交网络进行推荐是主要的创新点;同时高性能的离线计算,以及高实时性的在线推荐是本系统的主要特性。文章最后设置了多个对比实验,对本文提出的算法、系统的性能和实时性进行了整体的测评,算法的主要测评指标是平均绝对误差、均方根误差和覆盖率,性能评测指标是计算不同数据量所消耗的时间,实时性评测指标是在不同并发数下系统的响应时间。实验证明,结合商品信任度和社交网络的推荐比基于社交网络的推荐的MAE平均大约降低了0.01,MASE平均大约降低了0.05,覆盖率平均大约提升了10%;结合商品信任度和社交网络的推荐比原始推荐的MAE平均大约降低了0.02,MASE平均大约降低了0.1,覆盖率平均大约提升了30%;系统在离线计算单次迭代计算消耗时间没有超过20分钟,同时在线推荐的响应时间也没有超过3秒。
其他文献
模态指代事物发生的方式或是事物被体验的方式[1],多模态是两个或者两个以上模态各种形式的组合,当一个数据集或者研究中包含多个模态的时候,该研究即称为多模学习。在单模态研究的时代,学者们借助不同任务所提供的单模态信息进行模型构建,如推荐领域过去的研究使用用户对物品的打分构建推荐模型进行推荐,但随着多模态学习的兴起,推荐领域物品图片信息和用户评论信息的加入使得推荐效果取得的重大突破。多模态学习逐渐成为
近年来,嵌合抗原受体T细胞(Chimeric Antigen Receptor-T cell,CAR-T细胞)在B细胞白血病治疗方面已经取得了巨大的成就,但在B细胞淋巴瘤和实体瘤的治疗方面仍存在一定的局限性。优化CAR的结构从而提高CAR-T细胞的持续性和细胞毒性是CAR-T免疫治疗的新焦点。共刺激信号域是CAR-T细胞的重要组成部分,整合了CD28共刺激分子的CAR-T细胞能够快速增殖,但持续性
随着移动互联网的高速发展、移动电子设备的硬件性能不断提升、网络基础设施日趋完善,从传统的2G、3G时代逐渐过渡到4G、5G时代,这些都给视频会议系统的移动化、智能化提供了更好的硬件基础。同时随着商业全球化的大发展,对移动端视频会议的多样化需求也在不断提高。移动端视频会议相对于传统视频会议在硬件设备、网络状况以及环境更为复杂,所以对移动端视频会议研究与实现逐渐成为热点。目前尽管商业视频会议厂商众多,
数据仓库在数据综合、归类并进行分析上具有很好的处理能力。因此,用数据仓库集成元器件生命周期中的质量数据可以为元器件选型提供支持。但是建立元器件全生命周期质量数据仓库存在以下问题:一、对数据的统一表示困难。由于元器件的生命周期中存在很多部门,分散的数据组成要素不全,缺乏统一的数据表示模型,多源数据之间无法进行数据传递和交换。二、对实例数据的转化困难。由于各个部门的数据具有语义异构、海量的特点,所以转
移动设备的使用极为广泛,有多样化的设备且覆盖到生活与生产中的各个场景。在移动设备上通常运行着数?到数百个应用程序,这些应用程序简称App。许多App的使用依托用户端与服务器的通信完成功能。移动互联网的不断发展使得应用的网络通信持续增长,用户网络环境的复杂性和设备的多样性,以及App本身的工程复杂性,都会导致App在生产环境发生故障。随着App用户使用量的增大,故障发生也会非常频繁。软件开发者获取A
当前中国教育行业处于行业上升期。政策、资本、技术和重视教育的传统作为关键因素持续驱动教育市场稳定发展,并推动教育产业迈向新高度。随着计算机技术的高速发展,人工智能、大数据、AI等革命性新技术持续颠覆传统教育模式,引领教育走向智能化、数字化、立体化、扁平化,为打造未来个性化定制、家校、师三方联动,全方位沉浸式的教育新模式提供了可能。各教育集团为适应新的发展趋势,出于节约成本和创新的需求,对在线教育的
移动互联网飞速发展给人们生活带来的巨大改变不仅仅局限于电子商务等信息产业领域,随着云计算服务的成熟普及,使得建立在移动云服务上的面向传统领域的移动应用成为了可能。尽管各类基于位置服务(LBS)的电子地图应用在车速提醒上都有着各自的尝试,但大都属于基于传统技术的简单应用,也很少完全建立在各类交通限速规定和标准之上。在大数据技术不断发展的今天,云计算服务和大数据技术提供了将之应用于车速提醒的基础,这种
骨关节炎是一种常见的退行性骨关节疾病,主要是由于关节软骨退变引起的,常见于中老年人,好发于承重关节。作为人体最主要的承重关节之一,膝关节是骨关节炎发病率最高的关节。在膝骨关节炎的发生与发展过程中,生物力学因素的影响愈发重要,长期关节负载不平衡和下肢力线畸形都是导致膝骨关节炎发生与发展的主要因素。作为非手术治疗的一种手段,膝关节矫形支具通过矫正下肢力线,减轻膝关节不平衡负荷,减轻关节面摩擦,已成为缓
语义分割是计算机视觉领域的基础任务,能够解析场景的内容。本论文对道路场景视觉语义分割的关键技术进行研究,包括两部分内容:利用场景的深度信息提升语义分割精度以及对语义分割模型的加速。现有的道路场景语义分割方法主要使用场景的表观颜色信息进行逐像素分类,容易出现由类内不一致性与类间相似性导致的误分类情况,使得精度受到影响。本文提出使用场景的深度信息来缓解误分类的发生,并分别把深度作为先验信息或监督信息引
我国是世界水产大国,将转基因等现代生物技术引入传统的水产养殖中,已成为必然的发展趋势。现代生物技术,在观赏水族业中,更具应用前景。随着组织特异性启动子研究的深入,用荧光基因构建重组子,并转入鱼受精卵中,获得在不同部位发荧光的转基因观赏鱼技术已经得到初步应用。稀有鮈鲫(Gobiocypris rarus)是我国特有的一种小型鲤科鱼类,并已作为一种新型的模式实验鱼应用于鱼类遗传学、鱼病学、环境科学以及