HADOOP分布式文件系统相关论文
为了提升数据挖掘效率，为众多空间数据应用领域提供数据支撑，提出基于Hadoop云平台的空间属性数据挖掘技术：利用分布式编程模型MapRed......
为实现更好的税收风险管理,提高税收风险的科学性和可应用性,完善税收风险管理基础,提出了税收数据库和税收风险管理相结合的支撑......
随着互联网的快速发展,数据规模的不断扩大,云存储以其优异的性能和可靠性得到了广泛的应用和研究。云存储技术日趋成熟,能够充分......
作为一种数据安全策略,数据备份是保障数据安全的一种重要手段。然而现有的数据备份方案往往采用昂贵的数据备份服务器存储数据,这......
互联网技术的飞速发展,带来了数据量的爆炸性增长,传统技术在处理这些数据时不可避免地遇到各种问题,例如对于海量的数据进行管理......
随着民航信息化程度日益加深,各航空公司的订票系统中都积累了大量的旅客订座记录(Passenger Name Record,PNR)数据信息。在常旅客......
Hadoop是当今应用最为广泛的开源云计算平台，主要由Hadoop分布式文件系统(HDFS，Hadoop Distributed File System)和MapReduce框架组......
学位
随着信息技术的飞速发展，数据的产生和存储达到了空前繁荣的阶段，与此同时，如何从海量的数据中提取潜在的有用信息，给传统的数据挖掘技......
随着计算机硬件的发展,固态硬盘(SSD)已经越来越普遍,由于SSD的性能以及其可靠性所表现的优势,SSD取代传统HDD的趋势几乎是不可逆......
期刊
网络时代的发展使"互联网+"模式应用在各个行业,商业行为的大利润驱使下对消费者用户的分析已经非常成熟,教育行业对大数据的应用......
Hadoop分布式文件系统（HDFS）适合处理和存储大文件,在处理的文件体积较大时表现出色,但是在处理海量的小文件时效率和性能下降明显,......
Hadoop集群下每个小文件均占据一个Block,一方面存储海量元数据信息消耗了大量的NameNode内存,另一方面,Hadoop为每个小文件单独启......
针对在大型地理信息系统(GIS)中,需要对海量矢量数据和栅格数据进行存储并对高并发的用户查询请求提供高效响应,传统的设计方案难......
根据谷歌数据中心研究报告，传统数据中心存在高能耗、低利用率的问题。通过研究集群数据块访问规律，提出一种基于集群规模调整的Hado......
针对Hadoop分布式文件系统（HDFS）的写性能在执行效率上的不足,提出一种在节点性能异构环境中对HDFS数据块进行并发传输的调度算法。......
分析了云计算平台Hadoop负载均衡机制,针对Hadoop系统自带的均衡器要预先输入阈值才能运行的不足,通过多变量动态估计阈值对其进行......
为解决传统平台资源存储的瓶颈和提升用户在海量信息中检索所需教学资源的速度，对云平台中教学资源的存储结构、融合Hbase和MySQL两......
分布式文件系统的性能对整个分布式系统的性能有着重要的影响,以Hadoop分布式文件系统(HDFS)为研究目标,针对HDFS处理小文件数据性......
针对Hadoop分布式文件系统(HDFS)数据容灾效率和小文件问题,提出了基于纠删码的解决方案。该方案引用了新型纠删码(GE码)的编码和......
为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——N......
针对Hadoop分布式文件系统(HDFS)中小文件定义模糊导致HDFS处理小文件性能不佳的问题,提出了一种云存储系统中文件分界点的确定方......
为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法——SmartFS。SmartFS通过分析......
Hadoop分布式文件系统在大规模存储和访问中具有广阔的应用空间。从基本概念、基本结构、元数据管理、数据存储、文件管理、数据容......
以电信类公司日志文件为分析模板,结合大数据技术,对流量日志的数据进行分析,获取用户的行为特征,明确网站改进方向,为电信类公司......
建筑设备运维系统的使用阶段是建筑全生命周期中占比最大的,实现建筑设备运维系统的智能化和信息化,需要解决系统中数据的多源异构......
随着云计算及互联网技术的飞速发展,日益增长的信息需求与互联网之间的交互产生了海量的数据,传统的使用单台服务器存储数据的文件......
学位
传统的云计算存储系统为保障可用性,一般使用镜像冗余备份而产生大量冗余备份数据,影响了存储数据空间的利用效率。针对此情况,为......
针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。......
新型存储器件的I/O性能通常比传统固态驱动器(SSD)高一个数量级,然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件......
Hadoop在企业界逐步得到了广泛的应用,其子项目Hadoop分布式文件系统(HDFS)的安全问题就表现得日益突出。在研究了Kerberos以及RBA......
为了简化文件系统的实现，支持超大规模数据集的流式访问，HDFS牺牲了文件的随机访问功能，而在实际场景中很多应用都需要对文件进行随机......
针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在存储海量数据时对小文件支持性能低下的问题,提出了基于HDFS的......
随着云存储技术的快速发展,越来越多的企业和用户选择使用云存储来保存或备份数据,以增强数据的可移动性,然而针对云存储的安全性......
云存储必须保证数据存储的可靠性、有效性、完整性及存储体系的可扩展性。本文通过对云计算环境下海量数据存储的业务需求的深入分......
针对当前网络中视频媒体数量大、更新快、内容多、下载难,以及基于单机的视频网络爬虫系统中的处理速度慢、并发度低和下载速度慢......
新媒体时代的快速崛起,使微课成为高职院校授课教学过程中的新型教学辅助模式。该文主要分析了Hadoop技术在高职微课体系的应用和......
Hadoop是当前流行的大数据处理平台,因其高扩展性、高可靠性等优点得到业界广泛应用。Hadoop的核心组件HDFS(Hadoop Distributed F......
由于开源分布式文件系统HDFS不支持随机读写，基于HDFS实现的分布海量小文件系统SMDFS只支持聚合空间的删除，但不支持文件粒度的删除......
遥感影像数据并行处理系统大多依赖于国外商用产品,而国内自主化并行计算处理系统的任务流程化支撑能力以及并行计算性能难以适应......
由于现代城市警务涉及范围广,技术上要求在终端上(包括移动终端)实现图像、语音和位置等信息的快速关联。针对立体化警力调配和扁......
面对军事信息系统在大数据时代的海量数据分析及数据安全需求,传统的集中式处理平台已无法满足数据增长对存储和计算能力的要求,分......
针对目前云存储技术存在的数据泄露和数据篡改等安全问题,结合HDFS数据完整性校验机制的特点,设计并实现了一种基于HDFS的数据传输......
期刊
为改善应用Hadoop分布式文件系统存储大量小文件时效率低下的问题，将NameNode职责分离，使用单独的NFS服务器同步存储元数据信息，以降......
为了改善HDFS中集群负载的均衡性，提高数据节点的资源利用率，提出了一种改进的数据存放策略。在HDFS原始策略的基础上充分考虑了节点......
经典MapReduce编程模型的输出结果不是单一的Hadoop分布式文件系统（HDFS）文件,为此,文中提出了单一输出文件的MapReduce编程模型：Sing......
在Hadoop分布式文件系统(HDFS)云存储环境下,网络带宽和节点性能有限且动态变化,现有的副本选择策略无法根据环境的变化选择最合适......
现代社会的信息呈爆炸式增长,在大数据的背景下,近些年来快速发展的云计算凭借其海量的数据处理能力和高效率的计算能力,得到了IT......
Hadoop分布式文件系统,即HDFS,通过三备份存储方式保障了数据的可靠性,存储空间的利用率却比较低。随着数据规模的飞速增长,尤其对......
随着云计算的广泛应用,云服务已经成为了IT基础设施与应用的主流替代品。灵活的交付模式、按需自主服务和无处不在的网络访问颠覆......
针对Hadoop分布式文件系统中的Namenode单点故障问题,在研究Secondary Namenode机制、Backup Node机制和FacebookAvatar机制的基础......
