论文部分内容阅读
【摘 要】随着我国电信事业的不但发展,各个运营企业的竞争也越来越激烈,如何更好地为大众服务,争夺市场,已经成为各个运营商必须面对的挑战,科学的决策来源于科学的分析,科学的分析来源于科学的统计分析,因此建立一个关键指标的科学分析系统是各个运营商进行信息化分析处理的关键所在。探讨信息统计就离不开数据的积累,离不开数据仓库,也就是离不开统计分析平台。也就是说企业需要一个可以进行关键指标分析系统,而这个系统必须实现与电信统计分析平台的无缝对接。使决策者可以对本公司的运营状况(关键性指标)能够及时把控,以提高公司的竞争力。
【关键词】电信统计;分析平台;关键指标分析;系统设计与实现;数据仓库
作为与市场接触最深的电信运营商来讲,最能体会到市场的力量,增值服务才是电信运营商的新的利润增长点,特别是所谓的跨界服务,如何提高服务质量和新的服务内容才是真正的竞争的焦点。而这些内容的取得都来自于对现有信息的分析和研究。
一、电信信息统计分析平台
在我们的日常生活中,电信给我们提供的业务已经由原来电话短信,发展到现在的可以看是视频、手机聊天(非打电话)、购物支付(手机钱包)、网络游戏、手机办公、手机理财等等,对于这些丰富的信息,电信运营商经过统计分析平台(CSP--彩铃统计分析平台和SAP—业务分析平台),进行数据的提取、数据的转化,然后对这些数据进行分析,为公司的市场营销决策提供数据依据,为公司的现有业务运营状况进行实时分析,减少故障率,提高现有客户群对现有服务的满意度 ,达到稳定阵地的作用。
二、数据仓库概述
1、数据仓库是一个过程、一个环境、是一个可以供用户用来支持决策的历史数据和当前数据,它是历史变化(数据变化)的真实反映,是相对稳定的。
2、数据库与数据仓库的区别:
3、数据仓库的结构,由于数据仓库是用来应用的,所以有一个应用集市层,当然先有数据集合、也有临时区、细节数据层、汇总数据层等等。
三、关于ETL技术
ETL就是数据的筛选、转换、装载的过程,它是构建数据仓库的重要环节,用户从数据源拆选有用的信息(数据),经过数据清洗处理,最终按照事前设计好的数据仓库格式,将数据一一加载到数据仓库里,供用户分析处理使用。它能够按照统一的规测来集成数据和提高数据的价值,其实ETL就是这么一个过程,是从数据源到目标数据转化的过程,是建立和实施数据仓库的重要一步。
1、数据筛选的策略,数据筛选必须满足使用,也就是数据仓库系统分析和决策的需求,当然不能影响正常业务性能要求。至于筛选的方法,既可以采用高效的增量筛选,也可以采用完全筛选方式,当然筛选的时间可以在夜间。
2、数据的转换的目的就是将来自不同系统、不同格式的数据,按照一定要求进行规范性清洗、拆分,来确保装入数据仓库里数据的一致性和完整性。
3、数据的装载就是将筛选后信息经过转换,储存到数据仓库里,当然这需要使用数据仓库加载工具,这个工具一般由数据仓库的提供商提供,我们只需要根据自己的需要来使用就可以了。
四、数据挖掘技术
数据挖掘技术,是一门跨界的技术,是包括数据库、统计学、并行计算、人工智能等学科,是在海量的信息数据中挖掘有价值的信息的技术。当然这里也使用到人机互动的可视化技术。
数据挖掘会用到神经网络以及模糊理论等等,方法就是回归分析,所谓的回归分析就是寻找自变量和因变量之间因果关系,由此在知道自变量时就能到因变量,达到对未知变量的预测。当然回归分析有以下三种:
1、简单的线性回归分析,也就是一个自变量x对应一个因变量y,也就是中学学到的直线方程一样:
Yi=β0+β1Χi+εi i=1,2,3…….n
Y是因变量,β是回归系数、Χ是自变量,ε是误差项
2、如果自变量不是一个那就是多元回归分析,比如影响环境的舒适度的有温度x、湿度、pm2.5等等
Yi=β0+β1Χi1+β2Χi2+……+βiΧit+εi i=1,2,3…….n
这里需要强调的是方程是多元一次方程。
五、统计分析平台和关键性指标分析系统的关系
1、技术层面的关系:没有数据仓库技术就没有电信统计分析平台,关键性指标分析系统(kpi模块)只是整个统计分析平台的重要部分之一,当然也是基于数据仓库技术,将日常的业务数据进行整合、转化、汇总分析,展示给相关部门来决策,这就是KPI的主要工作。
2、业务层面的关系:关键性指标是由上级下达,是需要规范执行的,关键性指标模块的目的就是对重要的指标进行提炼分析,为决策层进行决策提供数据支持。
六、关键性指标分析系统设计
关键性指标分析系统有后台的处理和前台的展示两部分组成,前台展示部分就是将分析的结果,以决策者的喜好的方式(图表、数据)展示出来。后台的处理才分析是关键。
1、关键性指标分析系统总体设计
分析系统由五个子系统组成包括用于定期从客户资料系统、计费系统中抽取数据的进行清洗、转换、形成统一的可直接使用的数据集成子系统。构建关键指标分析系统的数据仓库的数据仓库子系统,还有就是实现的分析功能和数据挖掘的应用分析子系统,另外一个就是向决策者,信息查询者展示的画面的应用展示子系统,当然最后还有一个非常重要的系统就是元数据管理系统,因为有些数据是不谁都能看到的,这就需要用这个系统进行权限管理 、用户管理、系统监控等。
2、数据接口设计原则
统计分析平台是面向各个相对独立的业务系统,多少存在一些差异,因此对数据接口要加以规范:也就是完整、统一、易实现、灵活与前瞻,并且要高效。
3、数据获取设计的原则
数据获取使各个环节的基础,为了保证后期的应用,因此要求数据具有一致性、完整性、及时性、规范性、正确性以及转换的高效性、当然数据的获取要不影响其它系统的正常运转,最后就是对元数据进行必要的管理。
4、数据仓库存储设计原则
就是三统一一联系,即基础资料统一、编号统一、统计指标统一,关键是要在不同域之间要建立关联关系。
七、关键性指标分析系统的实现
在提出数据前必须先选好一个数据库,根据一定条件进行选择提取接口文件进行一定的转换,形成用户需要的数据文件,根据预先设计好的内容需求将数据存储到预定一报表存储中。
前面已经讲过数据的指标统一是非常重要的,它直接影响统计分析的结果是否正确,因此需要给各个指标确定统一的标准和逻辑。
总之无论指标多么复杂、存储过程多么繁琐,无论是临时层还是细节层或者是汇总层的表,都是为了一个目的就是满足用户对数据的要求,至于中间环节无非是提高存储过程的运行速度,当然一些关联是必不可少的,否则得出的结论就有待商榷了。
八、总结
随着电信业务的不断增加,现在各个电信企业都提出了大数据的概念,这些数据是隐藏着巨量的信息、并且在高速地增加、这些多样的信息蘊藏着巨大的财富,具有超凡的价值,关键是提取、转换、装载、直到最后的应用,也就是为决策者的决策提供给力的数据支持。由于篇幅的原因具体的细节不能详细说明,这里只讲了一些原则性问题。
参考文献:
[1]梁循,数据挖掘:建模、算法、应用和系统,北京大学家算计科学与技术研究所,2006.1.125-136.
[2]王付山,潘东静,联机分析处理技术的应用研究,2008,1.
[3]孙晓建,经营分析系统的开发及应用,上海交通大学硕士论文,2006,8.
【关键词】电信统计;分析平台;关键指标分析;系统设计与实现;数据仓库
作为与市场接触最深的电信运营商来讲,最能体会到市场的力量,增值服务才是电信运营商的新的利润增长点,特别是所谓的跨界服务,如何提高服务质量和新的服务内容才是真正的竞争的焦点。而这些内容的取得都来自于对现有信息的分析和研究。
一、电信信息统计分析平台
在我们的日常生活中,电信给我们提供的业务已经由原来电话短信,发展到现在的可以看是视频、手机聊天(非打电话)、购物支付(手机钱包)、网络游戏、手机办公、手机理财等等,对于这些丰富的信息,电信运营商经过统计分析平台(CSP--彩铃统计分析平台和SAP—业务分析平台),进行数据的提取、数据的转化,然后对这些数据进行分析,为公司的市场营销决策提供数据依据,为公司的现有业务运营状况进行实时分析,减少故障率,提高现有客户群对现有服务的满意度 ,达到稳定阵地的作用。
二、数据仓库概述
1、数据仓库是一个过程、一个环境、是一个可以供用户用来支持决策的历史数据和当前数据,它是历史变化(数据变化)的真实反映,是相对稳定的。
2、数据库与数据仓库的区别:
3、数据仓库的结构,由于数据仓库是用来应用的,所以有一个应用集市层,当然先有数据集合、也有临时区、细节数据层、汇总数据层等等。
三、关于ETL技术
ETL就是数据的筛选、转换、装载的过程,它是构建数据仓库的重要环节,用户从数据源拆选有用的信息(数据),经过数据清洗处理,最终按照事前设计好的数据仓库格式,将数据一一加载到数据仓库里,供用户分析处理使用。它能够按照统一的规测来集成数据和提高数据的价值,其实ETL就是这么一个过程,是从数据源到目标数据转化的过程,是建立和实施数据仓库的重要一步。
1、数据筛选的策略,数据筛选必须满足使用,也就是数据仓库系统分析和决策的需求,当然不能影响正常业务性能要求。至于筛选的方法,既可以采用高效的增量筛选,也可以采用完全筛选方式,当然筛选的时间可以在夜间。
2、数据的转换的目的就是将来自不同系统、不同格式的数据,按照一定要求进行规范性清洗、拆分,来确保装入数据仓库里数据的一致性和完整性。
3、数据的装载就是将筛选后信息经过转换,储存到数据仓库里,当然这需要使用数据仓库加载工具,这个工具一般由数据仓库的提供商提供,我们只需要根据自己的需要来使用就可以了。
四、数据挖掘技术
数据挖掘技术,是一门跨界的技术,是包括数据库、统计学、并行计算、人工智能等学科,是在海量的信息数据中挖掘有价值的信息的技术。当然这里也使用到人机互动的可视化技术。
数据挖掘会用到神经网络以及模糊理论等等,方法就是回归分析,所谓的回归分析就是寻找自变量和因变量之间因果关系,由此在知道自变量时就能到因变量,达到对未知变量的预测。当然回归分析有以下三种:
1、简单的线性回归分析,也就是一个自变量x对应一个因变量y,也就是中学学到的直线方程一样:
Yi=β0+β1Χi+εi i=1,2,3…….n
Y是因变量,β是回归系数、Χ是自变量,ε是误差项
2、如果自变量不是一个那就是多元回归分析,比如影响环境的舒适度的有温度x、湿度、pm2.5等等
Yi=β0+β1Χi1+β2Χi2+……+βiΧit+εi i=1,2,3…….n
这里需要强调的是方程是多元一次方程。
五、统计分析平台和关键性指标分析系统的关系
1、技术层面的关系:没有数据仓库技术就没有电信统计分析平台,关键性指标分析系统(kpi模块)只是整个统计分析平台的重要部分之一,当然也是基于数据仓库技术,将日常的业务数据进行整合、转化、汇总分析,展示给相关部门来决策,这就是KPI的主要工作。
2、业务层面的关系:关键性指标是由上级下达,是需要规范执行的,关键性指标模块的目的就是对重要的指标进行提炼分析,为决策层进行决策提供数据支持。
六、关键性指标分析系统设计
关键性指标分析系统有后台的处理和前台的展示两部分组成,前台展示部分就是将分析的结果,以决策者的喜好的方式(图表、数据)展示出来。后台的处理才分析是关键。
1、关键性指标分析系统总体设计
分析系统由五个子系统组成包括用于定期从客户资料系统、计费系统中抽取数据的进行清洗、转换、形成统一的可直接使用的数据集成子系统。构建关键指标分析系统的数据仓库的数据仓库子系统,还有就是实现的分析功能和数据挖掘的应用分析子系统,另外一个就是向决策者,信息查询者展示的画面的应用展示子系统,当然最后还有一个非常重要的系统就是元数据管理系统,因为有些数据是不谁都能看到的,这就需要用这个系统进行权限管理 、用户管理、系统监控等。
2、数据接口设计原则
统计分析平台是面向各个相对独立的业务系统,多少存在一些差异,因此对数据接口要加以规范:也就是完整、统一、易实现、灵活与前瞻,并且要高效。
3、数据获取设计的原则
数据获取使各个环节的基础,为了保证后期的应用,因此要求数据具有一致性、完整性、及时性、规范性、正确性以及转换的高效性、当然数据的获取要不影响其它系统的正常运转,最后就是对元数据进行必要的管理。
4、数据仓库存储设计原则
就是三统一一联系,即基础资料统一、编号统一、统计指标统一,关键是要在不同域之间要建立关联关系。
七、关键性指标分析系统的实现
在提出数据前必须先选好一个数据库,根据一定条件进行选择提取接口文件进行一定的转换,形成用户需要的数据文件,根据预先设计好的内容需求将数据存储到预定一报表存储中。
前面已经讲过数据的指标统一是非常重要的,它直接影响统计分析的结果是否正确,因此需要给各个指标确定统一的标准和逻辑。
总之无论指标多么复杂、存储过程多么繁琐,无论是临时层还是细节层或者是汇总层的表,都是为了一个目的就是满足用户对数据的要求,至于中间环节无非是提高存储过程的运行速度,当然一些关联是必不可少的,否则得出的结论就有待商榷了。
八、总结
随着电信业务的不断增加,现在各个电信企业都提出了大数据的概念,这些数据是隐藏着巨量的信息、并且在高速地增加、这些多样的信息蘊藏着巨大的财富,具有超凡的价值,关键是提取、转换、装载、直到最后的应用,也就是为决策者的决策提供给力的数据支持。由于篇幅的原因具体的细节不能详细说明,这里只讲了一些原则性问题。
参考文献:
[1]梁循,数据挖掘:建模、算法、应用和系统,北京大学家算计科学与技术研究所,2006.1.125-136.
[2]王付山,潘东静,联机分析处理技术的应用研究,2008,1.
[3]孙晓建,经营分析系统的开发及应用,上海交通大学硕士论文,2006,8.