做个健壮的数据工人

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:greenplastic
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  翱旗不同于那些依赖Hadoop生态圈而生存的大数据公司,甚至不愿意将“大数据”的标签贴在自己身上。但是,翱旗所表现出的强大的数据管理能力、数据打通能力,让这家公司看起来十分健壮。
  在大数据业内,开源框架Hadoop被很多人公认为是大数据处理的事实标准,甚至也被奉为大数据的代名词,即便这种追捧有些“以偏概全”的倾向。的确,在大数据概念兴起后,一大批基于Hadoop开源技术框架的大数据公司如雨后春笋般产生,其主要的原因就在于这些公司不需要再从0开始积累,而是借助现成的技术框架就可以开发一些应用。
  但翱旗创业(北京)科技有限公司(以下简称翱旗)与那些大数据公司并不一样,首先他们完全是依托自身的技术实力自主研发出了大数据的工业产品,其次,他们更愿意做一些Hadoop生态圈做不到或者做得不够好的事,翱旗与其他大数据公司的不同之处。
  不是大数据公司而是数据公司
  翱旗CEO郑曙光表示,从来不标榜自己是大数据公司,而是自认为是数据公司,因为只要是与数据有关的需求和技术发展方向,公司都会去关注或尝试提出解决方案。
  大数据技术最早在国内被应用的初衷,其实只是国人想找一条替代数据仓库和BI的路。在那个时候,国内在数据领域还远达不到大数据定义中“4个v”的标准。
  常规接触和需要管理的数据基本上都只是数据库中的数据。“4个v”中的一个“v”是指多样化的数据类型(variety),这种多样化体现在数据被分成结构化和非结构化。
  时至今日,在企业大数据中,非结构化的数据并不占据多数,更多企业处理的大数据仍然是结构化数据,而打交道更多的还是关系型数据库,这也正是翱旗关注的重点。
  虽然当下在互联网企业对于大数据技术的应用,似乎是被谈及很多。比如借助大数据分析助力营销和提升客户满意度。但翱旗并没有选择这些应用方向,而是选择面向传统企业提供服务。
  “大量的传统企业,他们大部分的业务并不是直接面向消费者的,但他们却存在对大数据应用的需求。比如他们产生于ERP、EMS中的数据,原本都是孤立的,但新的竞争环境,要求企业的数据流转过程在不同系统间都要实现环环相扣,而不是仅局限在某个部门、某个系统中。并且,与互联网所涉及的大数据不同的是,企业内的大数据准确度很高,更需要的是数据的流动和匹配。此外,很多大型的传统企业并不会马上推翻十几年前上马的IT系统,这时就需要构建一个企业内部的数据交换标准,把来自不同源的数据进行标准化的转换,当用户提出不同的标准需求,就按他需要的标准再转换好,并提供给他。” 郑曙光如是说。
  搬数据也要有个健壮身体
  对于翱旗究竟能帮用户做些什么?郑曙光提供了几个案例。
  宜昌市的电子政务系统是在 2012年建设上线的。在建设电子政务系统时,宜昌市遇到了一个难题,那就是如何将宜昌市下辖的二十多个单位的数据打通。
  比如,户政管理与社保原本在数据上是没有关联的,而当一个人年龄达到一定的标准正式退休,他在当地的福利比如办理老年卡享受老年人的优惠待遇时,就需要二者数据的打通。
  开始时,宜昌市采取手工的方式来导数据,但经常会因为二者业务的变化引发了数据源的变化,从而导致数据互通时的延迟。而翱旗帮助宜昌市解决了这个问题,实现了当数据源发生变化时,可以通过监测变化做到自动匹配,以缩短甚至消除延迟。
  另外,比如某个组织机构因为不再需要某项数据从而希望删除,但这项数据正与其他数据集中在一起为某个业务提供服务,如果贸然删除会更影响数据的完整性。
  所以,这个组织机构希望在实现删除动作的同时,不干扰业务的进行。翱旗能够满足这个功能需求,并能保证在用户删除数据后,翱旗仍然拥有数据的全集。
  而在关系型数据库方面,政府类用户经常提出的需求是,不允许服务商过多接触数据库和影响数据库的运行,比如安装插件等。在翱旗,能够实现在不干预用户数据库运转的前提下,获悉数据库的变化,而这也是通过利用数据库本身的能力实现的。比如采用日志监听的方式,与应用访问数据库和使用数据库触发器相比,好处是不占用过多计算资源。
  此外对于一些用户提出的,在复杂网络环境下实现断点续传能力的需求,翱旗也能够满足。
  SaaS更合适
  在IT媒体的报道中,很多情形下云计算与大数据是不分家的。数据管理是一种服务,而只要是服务,放到云上尝试运营是当下主流的发展趋势。翱旗的服务也正在计划在云上实现商用,比如在面向政府提供的政府数据云服务、面向公众的数据交换云服务等。
  而对于云服务的模式,郑曙光为翱旗选择采用SaaS。
  “虽然PaaS会提供一些现成的功能,但这些功能可能会不完备,所以导致PaaS通常是不能独立去应用到具体服务场景,仍需要做一些开发和拼接的工作才可以。 而翱旗之所以定位在SaaS层,是因为在提供云服务时,用户不需要再做太多复杂的工作,而只需要简单的配置一下就能独立应用。”郑曙光如是说。
  “比如面向企业提供数据备份、容灾、应急服务时,企业用户只需要使用翱旗提供的软件就可以直接实现。企业希望误删除的数据还能找回来,也通过翱旗软件提供的相应功能就能完成。”郑曙光表示。
  此外,翱旗服务云化的部署也更加便利和简单。用户只需执行一个脚本,就能够一次性完成安装,剩下配置工作也都是图形化的界面。比如选择实时备份还是全数据备份,只需要按选项进行勾选。
其他文献
本报讯 9月10日,工业和信息化部办公厅与信息化和软件服务业司组织召开了《促进大数据发展行动纲要》(以下简称《行动纲要》)媒体通气会,工业和信息化部信息化和软件服务业司司长陈伟解读《行动纲要》并接受媒体采访。  陈伟表示,《行动纲要》的内容可以概括为“三位一体”,即围绕全面推动我国大数据发展和应用,加快建设数据强国这一总体目标,确定三大重点任务:一是加快政府数据开放共享,推动资源整合,提升治理能力
作为华为IT业务的战略核心,华为云战略可谓牵一发而动全身。尽管作为后来者面临的是群雄争霸的严峻市场形势,但华为云已经冲入第一阵营,因为华为是具有战略耐性的企业,华为人沉得住气。  沉住气,成大器。  运营商市场的华为如此,企业级市场的华为也同样在践行这一信条。  2013年,华为企业业务实现了非IT产品盈利,营收增长32%,占华为总营收的6.4%。“祝贺你们,终于走出困境了,明天的曙光也能看见了。
制造型企业在整个业务价值链,以及研发设计、生产制造、经营管理、市场营销、售后服务等整个产品生命周期中,产生了大量的结构化和非结构化数据,且这些数据呈爆炸式增长趋势。随着大数据技术的不断成熟,未来,制造型企业可对工业数据进行全面感知、收集、管理,利用大数据分析工具,深耕工业大数据分析、挖掘、共享,提升企业智能决策水平,探索“大数据 制造业”这条传统制造向智能制造转型的新路径。  市场和技术是制造型企
相比2012年,2013年天津赛象的营业收入增长了48.31%,营业利润增长了433.1%,管理费用下降了8.76%,员工数量却从2011年的1240人减少到了2013年1107人。借助PLM和ERP的全面集成,实现了设计制造一体化,有效支持边设计边制造的业务模式,天津赛象通过IT系统实现的价值已经显著体现在数据上。  尽管软件选型时可以选择更加成熟的跨国软件厂商提供的PLM或者ERP产品,但是天
2013年4月16日黑龙江亿林网络技术服务有限公司宣布,正式发布黑龙江首家专业多线数据中心机房,并引起广泛关注。亿林数据是黑龙江省规模最大的民营中立IDC服务商。  随着东北地区企业和运营商的快速发展,旧有单线数据中心已无法支撑日新月异的业务应用,区域企业对于双线乃至多线机房的需求日趋迫切,亿林数据中心多线机房应需而生。机房始建于2011年10月,位于中国云谷,是黑龙江省内首家标准多线数据中心,四
2015年高频热词“互联网 ”,到底带来了什么?跟老百姓的生活怎么挂钩?就拿在首都的日常生活,谁没为预约挂号、办证办事、出行等犯过难?甭急!事来了!如今,动动手指就能一键办理复杂的政务事项。   新版首都城市综合信息服务平台(北京网、北京服务您App)于2015年12月18日正式上线。平台囊括十大服务主题,集百余项个人融合服务和上千项基础服务于一体,违章查缴、社保福利、户籍身份、应急预警、京津冀
最近科技圈的收购新闻不少,先是Intel以167亿美元收购Altera,然后Dell宣布670亿美元收购了EMC,随后西部数据就以190亿美元收购了SanDisk,其他规模小的收购还有不少。收购似乎成为企业弥补自身短板,促进自身业务快速发展的最有效途径。但有一家科技巨头却不这么想,有报道称,惠普公司于11月2日正式一分为二为惠普企业(HewlettPackardEnterprise,HPE)和惠普
一条生产线马上就要开工了,管理人员很可能还不知道这条生产线上的所有员工是否都已经到位。尽管管理软件在我国已经非常普及,但劳动力管理并非企业经营管理的核心,劳动力管理软件成为企业管理信息化建设的一大盲区。如今,这一情况有所改变。  破解劳动力成本上升难题  “可以说劳动力管理软件是当前管理软件领域中的一个新热点。”劳动力管理软件供应商Kronos大中华区总经理缪青如是说。  所谓劳动力管理,是指根据
APT(高级持续性安全威胁)已经离我们越来越近。  2014年初,FireEye发布的2013年高级威胁研究报告显示,在FireEye分析的39504次网络安全事件中,与APT攻击相联系的威胁占到4192次,平均每天11次。  如今,各个信息安全厂商和咨询分析机构都在不同的时间点表示,APT攻击将呈现出爆发趋势。一方面,APT攻击始终呈现出非常高的国别属性,当网络空间成为国家空间的一部分,各个国家
“谈到SaaS的渠道业务我一直都很头痛。现在越来越多用户采用SaaS服务,有些SaaS服务是由IBM直接交付给最终用户的。那么,合作伙伴在SaaS业务中到底应该扮演怎样的角色?”5月21日,在IBM于杭州召开的2014年IBM软件集团大中华区渠道高峰论坛上,IBM软件集团大中华区渠道部总监许伟利抛出了这个问题。  受大数据、云计算、移动与社交等新兴技术的影响,软件供应商和渠道正面临角色重塑的问题,