数据网格中海量数据传输技术的研究与实现

来源 :中国科学院计算机网络信息中心 | 被引量 : 0次 | 上传用户:wyan1215
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
科学数据是科学活动中最宝贵的资源之一,也是对于大多数科学家最重要的资源之一,如何尽可能充分地利用这些资源,使科学数据在科学家的创新活动中发挥尽可能大的作用,这是科学数据库长期持续发展所面临的亟待解决的问题,同样也是当前信息技术应用在科学研究领域的一个重要课题。网格(Grid)以资源共享为核心目标之一,如何有效地促进科学数据资源的共享和应用是网格技术、特别是数据网格技术的一个重要研究方向。   科学数据网格(Scientific Data Grid,SDG)项目是以科学数据资源的共享以及在此基础上的协同工作为核心的应用网格,由于科学数据库拥有海量数据,所以如何移动和传输这些海量数据成为科学数据网格中间件的技术难题之一。   基于以上考虑,本论文定义了一个数据网格中海量数据传输的体系结构,给出了系统中各个模块的交互方法和规则。系统介绍了如何保存海量的,动态生成的中间结果,如何给这些结果建立索引和如何高效的读取海量的结果集文件;并按照定义实现了数据网格中海量数据的同步传输技术。此技术可以对海量的,动态的中间数据进行缓存,并提供高效的检索技术,实现了数据分片传输和网络延时测量技术,从而有效缩短海量数据同步传输的时延,有效减小客户响应时间;同时按照定义实现了数据网格中海量数据的异步传输技术,实现了客户端的断点续传功能,达到海量数据异步传输的可靠性;实现了海量数据CRC校验功能,达到海量数据异步传输的数据完整性;实现了客户端并发传输功能,利用多线程技术,达到客户端较高的吞吐率。
其他文献
科学数据网格在中国科学院科学数据库的基础上,通过数据网格技术,实现对科学数据库中大量分布式异构数据资源的有效共享。科学数据网格中包含大量分布异构的数据资源,如何快速有
在无线传感器网络中使用超声波实现距离测量的功能,能够为其广泛应用提供一种重要的技术手段,因此具有重要的意义。   在超声波测距中,首先向待测目标物体发射一个超声波脉冲
现代操作系统大多提供层次化文件系统作为信息管理的基础;在此机制下,基本的数据对象作为文件抽象被管理,用户级的文件访问通过其路径名进行。   然而,随着存储技术的飞速发展
随着互联网技术的高速发展,网络安全态势感知技术已成为当前互联网安全研究领域的一个重要课题,并引起越来越多研究人员的关注。目前网络安全技术和防范手段已经得到了巨大的发
近年来P2P软件发展迅速,随着计算机网络的广泛应用和多媒体资源的丰富,P2P技术被主要应用于文件(主要是大型的多媒体文件)共享方面。当前用于文件共享的P2P协议种类很多,在美国
无线传感器网络是由部署在监测区域内大量低成本微型的传感器节点组成的多跳自组织的无线网络系统,协同地采集、处理和传输网络覆盖区域中感知对象的信息,并发送给用户。无线传
诸如个人电脑(Personal Computer, P)、平板、智能电视和机顶盒等智能终端设备近几年变得日益普及,这些智能设备在为人们提供便捷高效生活的同时,也逐渐暴露出越来越多的安全
Internet是由相互连接的许多网络构成的一个大网络。同一个管理机构管理下的一个或一组网络称为一个“自治系统”(Autonomous System)。在自治系统的内部,通过使用内部路由协
VoIP技术是近年来计算机和通信领域的热点。随着技术的发展和应用规模的不断扩大,已经对传统的电信领域造成了很大的冲击,VoIP技术具有广阔的发展前景和非常可观的社会效益和经
本文选用学术界广泛采用的BMW(BerkeleyMultimediaWorkload)作为评测基准程序。该测试程序集包含真实的测试程序和数据集,覆盖了较为广泛的多媒体应用领域,能较好的体现多媒体