基于计算图化架构的搜索引擎设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xiaoshancx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
经过20多年的发展,现代搜索引擎系统大量使用深度学习技术,对用户搜索行为与搜索条目的相关程度进行评估,深度学习算法效果优秀,但是对开发搜索引擎的算法工程师提出了更专业的要求。专精于算法的工程师常会在性能、并发等问题上犯下疏漏过错,而专精于性能调优的工程师难以深入理解复杂的深度学习算法。为了将算法与搜索引擎进一步解耦合,本文提出了计算图化的搜索引擎架构,并基于这一架构设计实现了一个购物网站搜索引擎的部分子系统,有效提高了系统的可维护性与可扩展性。系统选择阿里云集群为运行环境,按照软件工程方法,研究了搜索引擎的业务需求,明确了支持深度学习算法为中心,兼顾支持数据存取,人工干预策略等需求;分析了系统迭代开发中的主要活动,明确了开发人员的分类与职责,确定了将系统的部分功能编写为Tensorflow自定义算子,将系统整体组织成计算图的架构,并给出了部分用例图及详细用例分析;从业务角度和运维开发角度进行了系统整体设计,并详细设计了系统中的核心子系统召回结果排序子系统,进行了模块划分,流程设计与数据库设计;实现了系统的基础数据结构,核心自定义算子和整体流程的计算图;最后对系统进行了详细的测试,包括对比测试、性能测试和灰度发布测试。系统上线后运行稳定,迁移架构通过复用优秀实现方式修复了未检出的性能问题,使其性能得到不断优化提升,证明了新架构能有效提升系统的可维护性与可扩展性。
其他文献
中国共产党自诞生以来就始终把人民放在第一位。人民性是马克思主义政党最鲜明的品格。坚持以人民为中心,是贯穿新时代中国特色社会主义伟大实践的主线,是对马克思主义理论的历史传承和创新发展,是我们党领导中国革命、建设和改革发展实践的经验总结,是中国共产党人不忘初心和使命的时代要求。始终坚持以人民为中心,是中国共产党这个百年大党永葆青春的秘诀。实现中华民族伟大复兴,必须始终坚持以人民为中心。
期刊
大数据时代浪潮,传统行业不断进行信息化与智能化转型,新型产业和新型运营模式产生,定价方式的大数据杀熟、数据资产的比重增加、虚拟版权的出现等都显示传统的成本管理方式已经不能满足企业发展的需求。大数据时代带来的全球化信息共享为跨国公司降低财务信息处理难度带来了机会,因此有必要对企业信息化成本管理进行分析。信息化的快速发展推动了企业管理会计尤其是跨国企业管理会计的转型。近年来,我国许多企业都引进了基于财
期刊
本研究采取线索取样,选取广西某大学46名贫困大学生,采用随机数字法分为干预组(23名)和对照组(23名),对干预组进行10次积极心理干预,对照组保持常态,在干预前、后及3个月后采用积极心理资本问卷、主观幸福感量表进行测量。重复测方差分析表明,实验组贫困大学生积极心理资本的韧性、乐观维度的时间效应和组别效应均存在交互作用,总体主观幸福感、生活满意度、正性情绪和负性情绪维度的时间效应与组别效应均存在交
期刊
以高职家庭经济困难学生为研究对象,采用团体心理辅导进行干预,对实验组、对照组学生进行心理资本问卷前后测对比,研究结果表明:团体心理辅导干预能有效提高高职家庭经济困难学生的积极心理资本水平。
期刊
<正>细菌性痢疾简称菌痢,是一种常见的由志贺菌属引起的多发性消化道传染病。全球每年志贺菌导致的发病人数估计为 1.65 亿,约 16 万病例死亡[1]。尽管近 30 年来细菌性痢疾病死率显著下降,但是发病率一直居高不下,在贫穷落后的国家和地区仍对儿童造成严重的疾病负担。儿童频繁发生感染性腹泻容易导致发育迟缓和营养不良,影响认知能力的发展,
期刊
以藜麦粉和小麦粉为原料,在小麦粉中添加0、20%、30%、40%、50%、60%的藜麦粉,研究不同藜麦粉替代量对面团品质和藜麦酥性饼干品质的影响。结果表明,随着藜麦粉替代量的增加,面团的吸水率和形成时间呈现先增加后降低的趋势;稳定时间呈现显著降低的趋势;弱化度随着藜麦粉的增加显著升高;拉伸能量、拉伸阻力、最大拉伸阻力、拉伸比值与藜麦粉替代量及面团醒发时间成正比,呈现显著升高的趋势。当藜麦粉替代量为
期刊
粮油产品在日常生活中不可或缺,其质量安全与国民健康、农业发展有着密切关系。近年来,我国的粮油产品质量安全问题时有发生,特别是掺假、真菌霉素污染等问题,在很大程度上威胁着人们的健康,也易引起社会恐慌。随着人们生活水平的提升,对粮油产品的质量要求也越来越高,加大安全检测力度、科学利用各种检测技术是保障质量的重要手段。本文阐述了影响粮油产品质量安全的因素和粮油产品质量安全检测技术的重要性,并分析了常用的
期刊
<正>苏霍姆林斯基说:“只有学生把教育看成是自己的需要而乐于接受时,才能取得最佳的教育效果。”现实中,学生深知学习是己任,却难以重视;老师和家长苦口婆心,谆谆教导,结果也不尽如人意。笔者回想自己多年的带班体验,一个最深的体会就是班主任要努力唤醒学生的认同感,激发学生内驱力,实现学生的学习能力和心理健康更好地发展和提升。一、明确目标,激发学生的内驱力目标对人生具有巨大的导向作用,能指引前进的方向,激
期刊
<正>党的二十大指出:“坚持以人民为中心的发展思想。维护人民根本利益,增进民生福祉,不断实现发展为了人民、发展依靠人民、发展成果由人民共享,让现代化建设成果更多更公平惠及全体人民。”可以说,这是党的二十大报告开宗立论、贯穿全篇的核心理念。只有深刻领会和把握“坚持以人民为中心的发展思想”,才能学深悟透党的二十大精神,
期刊
肉桂醇脱氢酶(CAD)是木质素生物合成途径的限速酶,对玉米B73基因组数据库和NCBI数据库中注释为玉米B73 CAD的基因进行挖掘和筛选,对其中1条玉米肉桂醇脱氢酶基因ZmCAD4克隆,并进行生物信息学分析。结果表明,共筛选到12条玉米CAD基因,克隆的ZmCAD4基因编码区全长1 104 bp,编码367个氨基酸。ZmCAD4蛋白含有典型的CAD1结构域、Zn结合位点和NADP结合位点,不含有
期刊