基于HBase/Spark的教学大数据存储及索引模型研究

来源 :云南民族大学学报:自然科学版 | 被引量 : 0次 | 上传用户：zhqr1981

【摘要】

：

为解决海量教学数据的高效处理和管理,提出基于HBase/Spark的教学大数据存储及索引模型设计.先基于组合行键构建HBase表,根据教学Course分类进行预分区,并构建cost评分函数,

【作者】

：

唐立李亚平曲金帅

【机构】

：

安徽经济管理学院信息工程系,安徽经济管理学院教务处,合肥工业大学管理学院,云南民族大学云南省高校信息与通信安全灾备重点实验室

【出处】

：

云南民族大学学报:自然科学版

【发表日期】

：

2020年5期

【关键词】

：

HBASE SPARK 组合行键 HBaseSparkcombined row keys

【基金项目】

：

安徽省高校自然科学研究重点项目(KJ2019A0965),安徽继续教育改革项目(2018jxjygg008),云南省应用基础研究计划项目(2018FD055),安徽省教育厅教学研究项目(2019jyxm0910),安徽省高水平教学团队项目(2018jxtd044)

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

为解决海量教学数据的高效处理和管理,提出基于HBase/Spark的教学大数据存储及索引模型设计.先基于组合行键构建HBase表,根据教学Course分类进行预分区,并构建cost评分函数,来检测并迁移负载,达到解决数据存储时写热点和负载均衡的问题.语义解析、组合行键索引查询、Spark并行属性条件过滤实现教学大数据高效查询.实验证明基于HBase/Spark的教学大数据的模型,能够实现更加高效的教学大数据访存管理.

其他文献

基于双体船局部结构强度的分析

有限元法很早就被引入到船体结构强度分析中,经过几十年的积累,船舶结构有限元分析己经得到广泛的应用。随着当前船舶发展趋向于大型化、专业化,各种新型船舶的出现,新材料的

学位

双体穿浪船有限元分析ANSYS

中国连环画出版走向

中国连环画出版走向●梁东方作为与群众关系最为紧密的画种之一，连环画曾经很有图书市场。“文革”后，它创造过一年累计印数达数亿册的辉煌历史。然而，８０年代中期，它跌入低谷，一蹶

期刊

出版社中国连环画从业者

欧盟、美国农业支持和保护政策研究

农业是国民经济发展、社会稳定、国家自立的基础,同时农业又是一个自然风险大、生产周期长、投资回收慢的产业,而且还是风险因素较多、难以稳定发展的弱质产业。因此,特别需

学位

欧盟美国农业支持保护政策

低功耗物联网在新型智慧城市建设中的实施路径探析

一、引言与过去智慧城市相比,新型智慧城市强调城市之间、城市内部的信息融合共享以及信息资源的有效配置,通过利用新兴技术发挥信息资源在城市治理体系中的核心作用,进一步提高城市治理能力和推动基于资源开放的新兴产业经济发展。而物联网是新兴技术的重要组成部分,是被称为继计算机、互联网、移动通信之后的又一次信息技术革命,而低功耗物联网可以实现对城市更全面更深层次的信息感知,是城市管理变的更加精细化、智慧化、扁

期刊

物联网信息技术革命移动通信智慧化新兴技术智慧城市信息感知扁平化

人工智能在金融领域的应用

人工智能涉及学科众多,主要包括语言、心理、计算机等学科。目前,随着计算机的快速发展,人工智能与计算机联系越来越密切,并有着共同发展的趋势。本文主要对基于计算机的人工

期刊

计算机技术人工智能金融领域应用

VEGF、MVD、S100蛋白在大肠癌中的表达及其临床意义

目的:本文旨在探讨微血管密度(microvessel density,MVD)、血管内皮细胞生长因子(vascular endothelial growth factor,VEGF)、S100蛋白在人不同性质大肠粘膜中的表达及其临

学位

结直肠肿瘤S100蛋白免疫组织化学预后微血管密度血管内皮细胞生长因子肿瘤血管形成转移瘤

关于推进民政公共服务供给侧改革的思考

<正>如何将供给侧改革这一概念引入到民政工作领域?本文通过对首都民政公共服务情况进行调查分析,查找民政公共服务在供给规模、结构、质量、方式等方面存在的问题,有针对性