论文部分内容阅读
传统关系数据库具有良好的可扩展性、高可用性、高稳定性,得到了广泛使用。但关系数据库毕竟是通用型的数据库,存在灵活性不足,大数据量情况下响应速度慢等问题,因而不能完全适用于大数据时代互联网应用的需求。鉴于此,研究人员研发了各种各样数据库技术弥补关系数据库的不足。其中以NoSQL为代表的新型数据库因数据模型灵活、响应速度快,可扩展性强等优点越来越受到人们的关注,但是现有很多系统是基于关系数据库的,如何从现有关系数据库系统中引入NoSQL数据库,让关系数据库和NoSQL数据库各自发挥其优秀的性能仍是目前急需解决的问题。本文依托于实际开发的项目——校园58分类信息平台,在关系数据库基础上引入NoSQL数据库,研究两者在深度融合方面的关键技术,包括建立了以关系数据库为主库,以Redis为从库的异构读写分离方案、数据同步技术、客户端分片集群均衡技术等。主要完成以下几个方面的内容。(1)针对原有MySQL系统单一存储架构,引入了Redis这种新型的NoSQL数据库,改进存储系统的整体架构方案,让MySQL负责存储所有数据,提供持久化支持,Redis数据库负责缓存数据结构简单、读取频率高的数据。服务器接收到写入请求时,直接往MySQL中写入数据,并定时同步热点数据到Redis中。服务器接收到读操作请求时,首先在Redis中读取数据,读取失败再从MySQL中读取数据。从而实现了存储系统读写分离,提高了大数据量高并发情况下系统访问效率。(2)根据大数据量存储迁移的需求,在分析、总结现有存储结构和数据迁移技术的基础上,设计了合适的数据存储结构,利用Redis管道机制对数据迁移方案进行改进;同时在大数据量情况下采用hash结构、简化键名的方式节约内存;通过多线程合并操作减少网络开销,提高系统运行效率。(3)随着用户量越来越多,数据量越来越大,单台数据库服务器满足不了日益增长数据量的需求,需要在系统中实现分布式数据库集群。本文针对现有Redis分布式集群负载均衡技术存在的不足,提出了带冗余数据的一致性hash算法,优化了现有Redis客户端分片集群的负载均衡技术,提高了系统稳定性、可用性。最后把研究成果应用到校园58分类信息平台中。结果表明,系统能长时间稳定运行,个别服务器出现故障不会影响系统运行,改进后的数据迁移率明显提高,在高并发情况下,改进后的存储系统整体性能高于原来的存储系统。