论文部分内容阅读
随着大数据技术和应用的不断发展,各行各业管理信息化进程的不断推进,数据交换平台作为信息化和大数据应用的基本载体受到了工业界和学术界的广泛关注。本文针对数据交换平台中存在的异构数据整合问题、数据交换效率及安全问题、数据分析和应用问题,分别提出了六种模型与算法,主要贡献如下:(1)针对异构环境、异构数据库以及异构网络数据格式等原因产生的“信息孤岛”问题,本文提出了一种基于XML的体系结构,并在该体系结构的基础上设计和实现了一个基于异构数据交换的家庭学校互动教育平台。该体系结构能够有效地解决大规模数据的异构性问题,为数据的进一步交换、共享及分析挖掘奠定了基础。(2)针对数据交换平台底层数据交换过程中出现的“输出争用”问题,本文根据教育资源数据交换平台大规模和要求高速交换的特征,选用了一种并行化容争交叉开关交换结构,并分别利用五种业务模型对并行化容争交叉开关的业务能力进行了测试。仿真实验结果表明,这种交换结构的选用能够提高数据交换平台底层数据交换的效率。(3)针对数据交换平台数据传输过程中端到端的性能评估问题,本文提出了一种基于ICMPv6的端到端瓶颈流量测量方法,该方法的主要思想是利用IPv6流标签提取ICMPv6的超时报文及其对应的路由器地址和时间戳等信息,进而利用减法法则计算瓶颈流量。实验结果表明,该方法的链路带宽稳定在20%,有效地提高了链路的利用率。(4)针对数据交换平台可能面临的泛洪式攻击问题,本文提出了一种泛洪式攻击检测算法,主要原理是根据数据交换平台流量的大小以及流量的波动趋势判断网络中是否存在泛洪式网络攻击。仿真实验结果表明,基于网络流量特征的Do S/DDo S泛洪式攻击的检测准确度达到100%,能够满足数据交换平台预防和检测泛洪式攻击的需求。(5)针对数据交换平台大规模数据处理效率低下的问题,本文提出基于Open MP指令的数据平台并行数据处理方法,并且讨论了基于Open MP并行指令在数据交换平台中的开销问题,在实验结果测试中本文通过设计一组串行程序和四组具有不同Open MP调度和同步方法的并行程序,对比分析了在不同问题规模和线程数量情况下的开销。(6)为了验证数据交换平台的有效性,本文在数据交换体系结构的基础上,进一步设计和实现了一个智能导学系统,在该系统中,本文通过研究C4.5算法、ID3算法和个体教育的需求进一步提出了new-C4.5r算法,实验结果表明,new-C4.5r算法在运行时长、生产规则的大小和开销方面更优于C4.5算法,能够更好的应用于智能引导系统。