论文部分内容阅读
随着3G网络的推广以及4G网络的上市,手机网络每月产生的移动信令数据量高达几百TB,而用于存储这些海量数据的数据库类型又不尽相同,应用系统在访问这些异构的且规模庞大的数据库时,必然面临着接口不统一、透明访问困难、海量数据访问效率低等问题。因此,运营商的数据中心需要提供能够处理海量数据的数据访问服务以供应用系统调用,不仅能够从海量数据中快速得到所需要的信息,同时也为应用系统提供统一的访问接口,实现透明访问异构数据库的目标。处理海量数据的数据库访问中间件位于应用系统和数据库之间,应用系统必须通过该中间件才能和数据中心内的数据库交互。为了实现该中间件,采用EJB3.0技术搭建了中间件实现平台;选用SQL语法翻译机制来屏蔽语法差异,实现透明访问分布在不同的网络节点上的数据库;将结果集封装在自定义对象中,实现远程数据在各个层之间的传递;通过对数据查询优化技术的研究,选用分表算法把一个规模庞大的表分解为多个子表,以减小查询所要扫描的数据规模;并采用缓存预测技术,减少应用系统与数据库交互次数,优化海量数据环境下的查询性能;通过数据库连接池对数据库连接进行复用,以避免数据库连接资源的浪费。通过对中间件的部署以及对其可行性和高效性进行的验证,数据库访问中间件能够为用户提供统一的访问接口,实现透明访问,并有效提高海量数据的访问性能。