论文部分内容阅读
近年来,中国的电子商务行业进入了爆炸式的增长期,其交易量呈指数攀升。然而随着交易规模的扩大,系统的数据量也在逐年增长,传统的以集中式架构为主的电子商务系统已经很难满足目前海量数据存储与处理的要求。因此电商行业急需突破传统的架构模式,设计出一套功能更强大的新型应用系统,其不仅能满足用户对系统功能的要求,而且还要在大数据环境下游刃有余。近些年兴起的云计算技术因其强大的数据处理的能力而倍受电子商务行业的青睐。云计算技术是并行计算、分布式、网格的综合体,是信息技术未来发展的主要方向之一。它能够以更低成本,提供对海量的数据处理的支持,兼容各种类型数据,并且具有良好扩展性。本文设计并开发基于云计算技术的电子商务系统,希望借助云计算技术提升系统的数据存储与处理能力。本文从分析现有电子商务系统入手,总结其特点,分析并解决其存在的问题。首先分析关系型数据库MySQL和分布式数据库HBase的特征,总结它们各自的优缺点并在存储数据时各取所长,采用MySQL存储系统中结构化的业务数据,采用HBase存储图片等非结构化数据,这两类存储机制共同构成了数据存储子系统。其次,考虑到电子商务系统数据量大,数据挖掘算法计算复杂的特点,本文利用MapReduce实现数据挖掘算法的并行化,并在此基础上构建一个基于Hadoop的商品推荐子系统。最后采用JavaEE技术设计一套功能完善的Web商城系统,该系统构建在Hadoop和HBase之上。本文通过WebService远程通信技术实现了Web系统、HBase图片存储系统和商品推荐系统间的通信,将它们组织成为一个有机的整体。