处理海量数据的异构数据库访问中间件的设计与实现

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:a345333488
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着3G网络的推广以及4G网络的上市,手机网络每月产生的移动信令数据量高达几百TB,而用于存储这些海量数据的数据库类型又不尽相同,应用系统在访问这些异构的且规模庞大的数据库时,必然面临着接口不统一、透明访问困难、海量数据访问效率低等问题。因此,运营商的数据中心需要提供能够处理海量数据的数据访问服务以供应用系统调用,不仅能够从海量数据中快速得到所需要的信息,同时也为应用系统提供统一的访问接口,实现透明访问异构数据库的目标。处理海量数据的数据库访问中间件位于应用系统和数据库之间,应用系统必须通过该中间件才能和数据中心内的数据库交互。为了实现该中间件,采用EJB3.0技术搭建了中间件实现平台;选用SQL语法翻译机制来屏蔽语法差异,实现透明访问分布在不同的网络节点上的数据库;将结果集封装在自定义对象中,实现远程数据在各个层之间的传递;通过对数据查询优化技术的研究,选用分表算法把一个规模庞大的表分解为多个子表,以减小查询所要扫描的数据规模;并采用缓存预测技术,减少应用系统与数据库交互次数,优化海量数据环境下的查询性能;通过数据库连接池对数据库连接进行复用,以避免数据库连接资源的浪费。通过对中间件的部署以及对其可行性和高效性进行的验证,数据库访问中间件能够为用户提供统一的访问接口,实现透明访问,并有效提高海量数据的访问性能。
其他文献
学生满意度是学生对学校提供的教育服务等的感知质量,是他们的期望值与学校现实情况相比较后形成的感知状况,是一种心理体验。当前高校的竞争不仅仅是生源的竞争,更多的是服
本文针对航空服务器对离散输入输出信号需要严格的时序控制的特点,提出一种离散输入输出信号的设计方法。该方法通过对I2C总线、控制芯片、IO芯片、触发器、电压隔离等器件的