数据共享平台数据抽取子系统的设计与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:yyslzm2007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技能的普及和信息技术的飞速发展,作为学术之源和人才摇篮的高等院校,使用数字化信息技术为高校师生提供更快更优质的信息服务,逐步达到数字化校园形态是高校进入现代化信息时代的标志,而“数据孤岛”现象是当前国内高校数字化校园建设的必然产物,为了解决数据孤岛带来的信息屏障,满足校园信息化的新的需求,就必须建立一个统一的数据共享平台作为数据层和应用层之间的桥梁,实现统一的数据标准,保证数据权威性、一致性、时效性,为科研、教学、管理等方面的用户提供数据资源的全面整合,提供跨部门、跨应用的全局业务服务。数据抽取子系统是数据共享平台实现的基础,为了满足数据共享平台的顶层需求,数据抽取子系统实现了如下内容:首先,依据ETL(Extraction-Transformation-Loading,数据提取、转换和加载)内部数据转换的原理为数据抽取工作建立一个系统的模型,为之后的开发工作奠定一个统一的模式基础,也能有效进行软件的功能升级和迭代开发维护。其次,建立一个良好的数据源监控措施,可通过定制监视规则让用户自定义监控对象,最小粒度能达到数据库表中的某个字段,并能设定抽取任务的工作周期,实现中心数据库“主动拉”式的数据抽取。第三,根据数据环境的实际需求设定合适的增量数据抽取机制,同时具备快照差分检测和日志分析检测两种增量数据检测手段,力求能在合适的场景中使用合适的方法为用户带来更高效更快捷的服务。第四,在信息服务层利用JasperReort插件工具实现灵活报表的功能,可使用户无需编程,只要通过直观、简单的操作步骤便可以轻松实现报表的开发和管理。第五,为适应多用户同时操作,采用spring的事务管理技术,对同一视图进行同时操作的事务处理,防止冲突的产生。并且通过事务管理,实现同一用户对多视图的同时操作,以及临时保存修改功能等。本文根据软件工程的思想,从系统的需求分析、系统模型设计、编程实现以及测试等方面,提出上述问题的合理解决方案,并详细介绍了数据抽取子系统的实现过程。
其他文献
从现代社会的发展进程来看,对能源的开采利用效益,主要应用于现有的生产渠道。而现有的安全生产效益的影响因素,主要为不安全生产因素。为确保采矿作业的安全施工进程,对现有
在平时的作文教学中,我多给学生讲的是怎样审题、立意、选材;怎样拟题;如何开头、结尾;怎样做到语言美、结构美等。临近中考想给学生从整体上强调一下考场作文应特别注意的问题,编
随着新课程改革的不断深化,对实验教学的要求也越来越高,但是,在教学实验中我们只是凭着化学实验本身具有生动、直观、形象、鲜明的特点,自然地去激发和满足学生的知觉好奇,而忽视
人性化理念应用于教学阶段,能够将公平、自由的教学环境构建,不断提升高中生的学习积极性。高中生在探究分析语文作文知识期间,接受人性化的作文教学指导,能够认识到教师尊重
《抗战时期陕甘宁边区的对外贸易研究》主要阐述:抗日战争时期,陕甘宁边区开展的对外贸易工作是中共领导下的边区政府进行反经济封锁斗争的重要组成部分。抗战初期,边区的财政
田径教学要符合时代要求和素质教育的需要,就要不断地改革教学方法,中专田径教学已处于一个历史的低点,中专田径教学改革应从指导思想、课程设置、教学方法和教师素质几个方面入
健康评估这门课程,是临床护理专业课程的基础、起点和桥梁。课堂教学是教师、学生二者之间相互作用的活动过程,教师是课堂活动中的主导者,教师的组织管理方式,教师的教学能力,教师
为了更安全有效地在水稻上资源化利用沼液,本研究以“稻麦轮作”种植模式下全部施用化肥的CK1处理和施用沼液和化肥的CK2处理为对照,探究在“沼液培肥(休耕)+水稻”的种植模
课堂是教学的主阵地,把握好课堂,向40分钟要质量是搞好教育教学工作的保障。所谓“高效语文课堂”,就是在语文教学中最大程度地发挥课堂教学的功能和作用,在课堂40分钟内最大限度
考试及试卷讲评对于每次考试成绩都不理想的学生来说,是一件非常沮丧的事情。传统做法:学生不管学习成绩如何都考同一份试卷,考试完后,教师进行统一批改,在下一节课或更长时问后分