云环境下大数据迁移与存储研究

来源 :昆明理工大学 | 被引量 : 1次 | 上传用户:ghchao0605
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了应对快速数据增长对在线业务运营平台的压力,本论文设计实现了一种云平台上大数据迁移存储系统。该系统针对企业日常运营管理数据,实现了一种数据迁移方案,并优化了基于Hadoop平台的数据存储方案。现有业务运营平台数据通常是存储在数据库中的结构化数据,结合结构化数据特点和存储环境,综合考虑迁移效率、成本等问题,本文采用了基于Sqoop的数据迁移系统设计,并从数据量大小、字段划分类型、Map任务数三个方面对迁移性能进行分析,此种设计能够在系统简洁流畅稳定运行的前提下充分保重数据迁移的安全性,同时能够保证数据到达迁移目的存储系统后能够自动化归档。Hadoop平台提供了HDFS分布式文件存储系统,同时又有MapReduce分布式计算框架的支撑,在此基础之上,本文采用了Hadoop的两个数据管理组件:HBase和Hive,通过分析各自优缺点,取长补短,实现了基于HBase和Hive的数据整合存储系统,并对比分析单独使用Hive和使用整合查询系统的查询性能,该系统能在不破坏组件各自功能完整性的情况下更好的发挥数据查询性能。经过测试,系统能够完整的实现数据的迁移,并且基于HBase和Hive的整合存储系统也能够进一步优化大数据平台的数据管理性能。
其他文献
正如罗马不是一天建成的,任何一个行业的发展也不是一蹴而就的。中国化纤工业发展到今天,在发达国家逐渐推出化纤生产的现状下,若行业还寻求进步,则唯有依靠自身力量。为了鼓
随着“一带一路”、“中国制造2025”发展战略、“十三五”规划等国家重大战略的提出,我国纺织服装行业对自身未来的发展方向有了越来越清晰的认识,企业供给侧结构性改革与经营管理的与时俱进变得愈发迫切。  在此背景下,纺织行业要由传统产业或劳动密集型产业向科技产业、绿色产业、时尚产业转变。而“三品”战略专项行动的提出,更为以针织服装为代表的纺织服装集群在增品种、提品质、创品牌方面提供了优良的政策契机和发
随着我国改革开放中小企业不断涌现,它们对我国的经济发展起着推动的作用。但是由于一些中小企业财务管理系统不健全,同时也制约着其发展速度。随着互联网和软件技术的不断发展、信息化水平不断提高,通过信息技术手段来提高中小企业的财务管理方式,将手动记账模式解放出来,同时还可以进一步对中小企业的发展开拓思路。但是中小企业如果直接采用国有大型企业现有的财务管理软件,由于高昂的费用和系统的庞大,让中小企业无法使用
公立医院是不以盈利为目标的公益机构,是服务社会的福利单位。然而,随着新医药卫生体制改革的不断深入,如何提升公立医院本身的公益性,就成为了当前各大公立医院面临的重要问题。新公共管理理论当中的精细化管理理论是目前公立医院实现可持续发展的重要方式,将其应用、融入到医院的日常管理改革中,有利于在提高医院管理水平及效能的同时,推动医院公益性稳步提升,满足人民群众日益增长的健康需求。本文通过对国内外相关文献的
新课程改革中的高中物理教学应根据物理学科本身的属性特点,发挥现代多媒体技术的优势。采用多媒体教学应该坚持选择性、目的性、适当性等几个基本原则,违背这些原则就会出现本
高职英语课程的设置是高职英语教学活动顺利进行的保证。高职英语课程的设置应该注重学生学习兴趣的培养、基础知识的巩固、专业课程的强化以及文化背景的了解等。
本文论述了儒家修养思想的主要内涵以及儒家修养观在当今社会的现代意义。