基于Hadoop的海量图片云存储系统研究与设计

被引量 : 0次 | 上传用户:nkxrb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
进入二十一世纪以后,随着互联网的不断发展和互联网技术的深入应用,一些大型的门户网站和电子商务网站迅速发展起来,如淘宝网、京东、亚马逊、新浪等。这些网站图片所占用的资源相当大,且其数量呈爆炸式增长,并且具有高并发访问性。面对海量的图片资源,如何高效的存储以及如何在满足高并发访问的前提下构建高效廉价的存储系统成为软件架构师需要迫切解决的问题。云计算的出现给我们提供了一条思路,通过分析我们可以采用分布式存储系统来解决上述难题。本文通过分析海量图片的存储需求,以及对现有分布式系统的研究,提出了一种基于云计算的海量图片存储模型。该模型部署在Linux机器集群上,以Hadoop中的HDFS为基础,并且通过优化实现了高容错性,并且能够提供可靠的高并发访问。采用新型的数据组织结构,把文件名和物理地址相映射,从而提供了良好读写性。同时采用HA架构,保证系统的可用性。本文的研究内容主要包含以下三个方面:第一,通过对海量图片存储的需求分析以及对现有分布式系统的研究,提出了基于Hadoop的存储模型。通过采用Master/Slave架构,实现了在廉价的计算机集群上部署系统,并且具有高容错性和扩展性。第二,通过设计缓存系统保证了存储系统的稳定性。通过设计均衡负载,实现了对各个存储节点的优化。第三,在对图片元数据的存储中采用的是Hadoop的HBase。通过对图片文件名的重新设计,使得同一类型的图片所存储的物理地址尽可能的靠近,从而提高了查询的效率。本文研究的存储系统在Linux服务器上进行了系统的搭建,通过一系列的测试所得的数据分析了系统的合理性和可行性,并且验证了文中所提方法的有效性和实用性。
其他文献
在现代化社会中,医疗卫生计生单位是一个重点关注百姓健康与生活的单位,也是社会当中不可缺失的计生机构,是保障社会正常运转的基础行业,而医疗卫生事业直接关乎着思想政治工
本文按照提出问题、分析问题、解决问题的思路,将民营上市公司的治理结构问题作为研究对象,以典型代表吉峰农机连锁股份有限公司的公司治理结构为案例进行研究。首先论文提出了
本翻译报告以《公平贸易-贸易如何促进发展》的部分内容为基础,在进行英译汉的过程中总结了其中在词汇及句式方面所遇到的问题。译者将所用到的翻译技巧及方法进行归类:在词汇
<正>取鲜丝瓜根100~500克(干品200克),切成小段;取瘦猪肉200克,切成薄片。丝瓜根加水煮沸20分钟后捞出,倒入瘦猪肉,加入适量食盐炖煮,熟后趁热吃肉喝汤,一般一次可
期刊
近几年来,随着科技的不断进步,生活节奏的逐渐加快,计算机的应用越来越广泛,人们都迫切的希望能与计算机更方便更快捷更有效地进行交流。语音识别的研究为人机的交流开拓了一片新
为了优化油茶籽干燥,分别研究了油茶籽的热风和热风微波耦合干燥工艺。热风微波耦合干燥利用Box-Benhnken中心组合实验设计和响应面分析法,以过氧化值(POV)和干燥时间为响应
本文阐述了青海省柴达木枸杞产业技术研究现状,介绍了柴达木枸杞在新品种培育、栽培技术研究与示范、功能研究与精深产品开发、论著等方面取得的成效,提出了枸杞今后的8个重
<正>习近平总书记指出:"创新是社会进步的灵魂,创业是推动经济社会发展、改善民生的重要途径。"李克强总理在今年政府工作报告中,明确将"大众创业、万众创新"作为经济增长的
建立了顶空固相微萃取和气相色谱-氮磷检测器法(HS-SPME-GC-NPD)测定葡萄中6种3-烷基-2-甲氧基吡嗪(MPs)的方法。经优化采用CAR/DVB/PDMS三相SPME萃取头浓缩提取葡萄中MPs,在
随着我国新一轮高中数学课程标准的研制和使用,全国各地诸多省市陆续加入到新课程改革的行列,2010年重庆市进入高中新课改,从高一开始使用新课程标准教材(以下简称“课标教材”),到