基于DAIF的多学科数据装载工具设计与实现

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:tianbentb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
科学研究活动中会产生大量的观测和实验数据,将这些数据进行收集处理后保存到数据库中供应用系统使用,或者在协同科研环境中共享,这是科研信息化(e-Science)的重要基础工作。数据装载的过程包括数据抽取(E)、数据转换(T)、数据载入(L)三个阶段,现有支持ETL机制的数据装载工具一般是面向同一类数据集成而设计的。本文研究工作的目标是结合协同工作环境套件Duckling的特点与需求,以DAIF插件方式实现一种能够处理多学科数据的数据装载工具。   本文在研究和归纳不同学科数据特点的基础上,提出了基于Duckling应用集成框架(DAIF)的数据装载工具的总体设计,其主要特点包括:基于可配置的规则实现对多种格式数据的抽取;在一个站点(数据源)中可以配置多条规则来处理多种数据;支持多种方式的数据采集器。已结合科研项目的实际需求实现了天文和分子生物学两类数据抽取规则,实现了电子邮件和FTP两种数据采集器。   本文的工作将集成在Duckling中进一步完善和推广,基于现有系统架构可以方便地扩展出支持新的学科领域的数据抽取规则以及新的数据采集器。
其他文献
学位
随着Web2.0时代的到来,企业应用的规模越来越大、需求越来越复杂、开发周期越来越长、维护成本越来越高,传统的软件开发方法已经难以满足开发成本和开发效率的要求。框架在软
随着门户网站业务的扩展和规模的增加,网站Web服务器的服务压力逐渐增大,安全性也在经受严峻的挑战,迫切需要实现一个中间服务器将内部网络和外部网络隔离,提高系统的吞吐量,保证
学位
基于我国航天技术的发展,迫切需要能够自适应太空复杂环境的硬件,包括天线。然而,传统的天线设计方法,需要丰富的设计经验、繁杂的验证方法和多种辅助测试工具,才能解决天线匹配、
学位
计算几何是计算机算法研究领域中一个重要部分,而凸壳是计算几何中最普遍、最基本的一种结构,它被广泛地应用在模式识别、图象处理、图形学和人工智能等方面,在实际应用过程中,许
学位
计算机图形学的核心目的之一就是利用计算机产生赏心悦目的真实感图形。因此,真实感图形学作为计算机图形学的重要分支,长期活跃在科学研究和图形学应用的舞台上。   光线
本文基于时序数据特征提取与神经网络分类,改进了射线拟合算法并提出了一种基于小波理论的特征提取与知识向量积特点的时序数据分类方法:首先,改进时序数据分析中的射线拟合
随着电脑软硬件、信息传播技术的高速发展和网络技术的完善,网络已经成为人与人、人于社会之间联系和交流的一种重要工具,它能够把复杂的操作流程简单化。在21世纪的今天,网络日
学位
随着越来越多的移动运营商投入运营,移动市场的竞争日益激烈。要在如此艰巨的情况下保住市场占有率,只有依靠更加贴心的服务和更加优秀的网络。如何在网络不断发展的过程中,
网络地理信息系统(WebGIS)是GIS(GeographicInformationSystem,地理信息系统)技术与Web技术有机结合的产物。开展基于网络的GIS研究,实现不同地理位置的数据信息的统一管理和