论文部分内容阅读
【摘 要】进入流量经营时代，通信运营商面临端管云全方位竞争。需要打破数据壁垒，融合通信运营商业务运营、网络支撑、管理信息等不同域的数据，通过大数据进行立体分析与挖掘，提升流量经营时代核心竞争力。如何借助大数据，实现从传统的基于话单的数据仓库向基于业务运营、网络信令、财务指标等海量信息的企业级数据中心发展呢？本文重点描述了通信运营商企业级数据中心的系统架构设计、平台演进技术及其管控配套建议。
【关键词】大数据 通信运营商 企业级 数据中心
一、现状分析与背景技术
（一）数据仓库技术在通信运营商中的应用现状与挑战
在电信行业竞争日趋激烈的背景下，如何提升市场营销能力、客户服务水平与经营决策水平已成为通信运营商面临的一个重要问题。数据仓库技术作为数据整理和分析的主流技术，在通信运营商的应用越来越广泛，在企业经营生产中也扮演着越来越重要的角色。然而通信运营商数据仓库具有数据量巨大且增长迅速、业务需求复杂度高、系统效率及数据质量要求高等特点。这些都对数据仓库的开发设计提出了很高的要求，亟需探索建立更加合理高效的新型数据仓库体系架构。
（二）大数据定义及新技术引入意义
“大数据”作为时下最火热的IT行业的词汇，研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在企业级数据中心构建中，可供选择的除了传统数据仓库技术外，还有Hadoop和MPP数据库。Hadoop是一个以一种可靠、高效、可伸缩的方式对大量数据进行分布式软件框架。MPP数据库是一个大规模并行处理数据库，通过每个集群中的每个节点处理计算通过高速专用网络连接共享提供数据库服务。Hadoop 和MPP数据库为海量数据处理提供了一个超越传统存储和数据库技术的解决方案，已经成为构建海量数据构架的主流选择。
二、借助大数据搭建企业级数据中心的架构规划
（一）企业级数据中心架构设计
面向多专业领域海量数据的存储、处理与开放的需求，可以通过引入大数据技术，采用分级存储混搭数据仓库搭建新型企业级数据中心，既兼顾了现网投资节约成本，又考虑到平台开放性与扩展性。与传统数据仓库架构类似，企业级数据中心分为数据获取层、数据存储层和数据应用层三层架构。
1.数据获取层：各生产系统数据源数据经过抽取、清洗、转换，并加载到数据中心。数据源范围大大扩张，不再局限于业务运营数据，而是覆盖了业务运营、网络运维、财务分析及网络信令等网元平台，甚至包括外部数据。数据量急剧膨胀，以一个中等规模的省级通信运营商网络信令为例，GPRS话单数据量一天约为6GB，仅Gn口上网日志数据量一天就达到5TB。数据类型多种多样，包含了清单类结构化数据，日志类半结构化数据，GIS类非结构化数据等。
2.数据存储层：实现对数据仓库中数据和元数据的集中存储与管理，并可根据需求建立面向部门、主题或分支机构的数据集市。为了支持海量数据存储与分析，构建低成本高效的企业级数据仓库，可以考虑采用分级存储的混搭数据仓库模式，即“传统数据仓库+MPP数据库+Hadoop Hbase数据库”的混搭架构。
3.数据应用层：通过多样化的前端分析展示工具，实现对数据仓库中数据的分析和处理，形成市场经营和决策工作所需要的科学、准确、及时的业务信息和知识。既可以是各个专业领域的分析应用，也可以是基于完成的企业级数据进行的企业级分析与决策支持系统。
（二）企业级数据中心各数据库介绍及其比较
1.清单库：基于低成本文件存储，采用Hadoop技术，实现原始数据预处理与存储。低成本存储承载低价值数据，主要用于存储通话详单、网络信令等规模庞大的原始数据。
2.基础数据库：采用MPP技术的中低成本数据库搭建分布式深度分析平台，主要用于存储经过轻度汇总的数据并对外开放。
3.核心信息库：采用传统的高性能数据库用于存储高价值核心数据，在产品选择上可以采用ORACLE、DB2等主流厂家的成熟产品。主要用于存储与处理高度汇总数据，提供报表分析与即席查询等高端应用。
三、技术测试验证情况
在企业级数据中心搭建过程中进行了大量的测试验证工作。例如在业内有多种Hadoop产品和解决方案，为了验证产品选型，专门组织了Hadoop产品性能与稳定性测试。根据测试结果分析：Hadoop平台处理能力需求与处理数据量大小成正比，处理能力与数据存储容量可以通过增加计算节点数线性获得。在相当的配置情况下，在一个地市级电信公司31天详单中查询随机号码的话单记录，考察数据加载能力，开源Hadoop能达到17万条/秒，而传统数据库仅为3万条/秒。Hadoop架构比传统数据库在大数据处理上能更好地发挥硬件能力。
四、其他实施关注点
建设面向企业级的数据仓库，需要将原来数据仓库体系中的元数据、数据质量、安全和运维管理经验运用到云平台上，增强云平台可运营可管理的能力，从而建立相应的数据管控和应用支撑体系，这就需要有专门的团队运营数据资源，并统一支撑数据分析需求。该团队需要负责工作包括数据标准建立、数据模型设计、数据质量检查、数据应用支持、数据需求管理等，先进合理的技术架构需要有与之相对应的管控配套才能更好发挥企业级数据中心的作用。
【关键词】大数据 通信运营商 企业级 数据中心
一、现状分析与背景技术
（一）数据仓库技术在通信运营商中的应用现状与挑战
在电信行业竞争日趋激烈的背景下，如何提升市场营销能力、客户服务水平与经营决策水平已成为通信运营商面临的一个重要问题。数据仓库技术作为数据整理和分析的主流技术，在通信运营商的应用越来越广泛，在企业经营生产中也扮演着越来越重要的角色。然而通信运营商数据仓库具有数据量巨大且增长迅速、业务需求复杂度高、系统效率及数据质量要求高等特点。这些都对数据仓库的开发设计提出了很高的要求，亟需探索建立更加合理高效的新型数据仓库体系架构。
（二）大数据定义及新技术引入意义
“大数据”作为时下最火热的IT行业的词汇，研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在企业级数据中心构建中，可供选择的除了传统数据仓库技术外，还有Hadoop和MPP数据库。Hadoop是一个以一种可靠、高效、可伸缩的方式对大量数据进行分布式软件框架。MPP数据库是一个大规模并行处理数据库，通过每个集群中的每个节点处理计算通过高速专用网络连接共享提供数据库服务。Hadoop 和MPP数据库为海量数据处理提供了一个超越传统存储和数据库技术的解决方案，已经成为构建海量数据构架的主流选择。
二、借助大数据搭建企业级数据中心的架构规划
（一）企业级数据中心架构设计
面向多专业领域海量数据的存储、处理与开放的需求，可以通过引入大数据技术，采用分级存储混搭数据仓库搭建新型企业级数据中心，既兼顾了现网投资节约成本，又考虑到平台开放性与扩展性。与传统数据仓库架构类似，企业级数据中心分为数据获取层、数据存储层和数据应用层三层架构。
1.数据获取层：各生产系统数据源数据经过抽取、清洗、转换，并加载到数据中心。数据源范围大大扩张，不再局限于业务运营数据，而是覆盖了业务运营、网络运维、财务分析及网络信令等网元平台，甚至包括外部数据。数据量急剧膨胀，以一个中等规模的省级通信运营商网络信令为例，GPRS话单数据量一天约为6GB，仅Gn口上网日志数据量一天就达到5TB。数据类型多种多样，包含了清单类结构化数据，日志类半结构化数据，GIS类非结构化数据等。
2.数据存储层：实现对数据仓库中数据和元数据的集中存储与管理，并可根据需求建立面向部门、主题或分支机构的数据集市。为了支持海量数据存储与分析，构建低成本高效的企业级数据仓库，可以考虑采用分级存储的混搭数据仓库模式，即“传统数据仓库+MPP数据库+Hadoop Hbase数据库”的混搭架构。
3.数据应用层：通过多样化的前端分析展示工具，实现对数据仓库中数据的分析和处理，形成市场经营和决策工作所需要的科学、准确、及时的业务信息和知识。既可以是各个专业领域的分析应用，也可以是基于完成的企业级数据进行的企业级分析与决策支持系统。
（二）企业级数据中心各数据库介绍及其比较
1.清单库：基于低成本文件存储，采用Hadoop技术，实现原始数据预处理与存储。低成本存储承载低价值数据，主要用于存储通话详单、网络信令等规模庞大的原始数据。
2.基础数据库：采用MPP技术的中低成本数据库搭建分布式深度分析平台，主要用于存储经过轻度汇总的数据并对外开放。
3.核心信息库：采用传统的高性能数据库用于存储高价值核心数据，在产品选择上可以采用ORACLE、DB2等主流厂家的成熟产品。主要用于存储与处理高度汇总数据，提供报表分析与即席查询等高端应用。
三、技术测试验证情况
在企业级数据中心搭建过程中进行了大量的测试验证工作。例如在业内有多种Hadoop产品和解决方案，为了验证产品选型，专门组织了Hadoop产品性能与稳定性测试。根据测试结果分析：Hadoop平台处理能力需求与处理数据量大小成正比，处理能力与数据存储容量可以通过增加计算节点数线性获得。在相当的配置情况下，在一个地市级电信公司31天详单中查询随机号码的话单记录，考察数据加载能力，开源Hadoop能达到17万条/秒，而传统数据库仅为3万条/秒。Hadoop架构比传统数据库在大数据处理上能更好地发挥硬件能力。
四、其他实施关注点
建设面向企业级的数据仓库，需要将原来数据仓库体系中的元数据、数据质量、安全和运维管理经验运用到云平台上，增强云平台可运营可管理的能力，从而建立相应的数据管控和应用支撑体系，这就需要有专门的团队运营数据资源，并统一支撑数据分析需求。该团队需要负责工作包括数据标准建立、数据模型设计、数据质量检查、数据应用支持、数据需求管理等，先进合理的技术架构需要有与之相对应的管控配套才能更好发挥企业级数据中心的作用。