Hadoop一体机降低大数据门槛

来源 :计算机世界 | 被引量 : 0次 | 上传用户:kingwill
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  近年来,有关大数据的话题逐渐增多。最大限度挖掘大数据中的有价值的信息已经成为众多企业的共同需求,特别是在互联网、电信、银行、保险等信息化水平较高的企业,这一需求表现得尤为迫切。响应市场的需求,厂商们推出了各种各样的大数据解决方案,而一体化的解决方案在其中独树一帜,并因其部署简单、上线快而受到用户欢迎。
  日前,来自中国台湾的精诚集团在京发布了Hadoop一体机产品Etu(Etu 的命名是直译中文“意图“的读音,品牌中文即为”知意图”)。Etu是一款将软件与硬件集成并优化的端到端一站式解决方案产品,能够帮助用户从大数据中提取有价值的信息,提升用户在商业环节中的价值。这是继Oracle推出一体化大数据机之后的又一款一体机产品。
  “大数据需求很普遍,比如网页浏览数据就是一种典型的大数据,其中包含大量的用户行为信息,处理起来很不容易。同样,电信企业要进行IP地址溯源等业务分析也需要用到大数据的相关技术,这也是一件费时费力的工作。”精诚运中心暨Etu负责人蒋居裕表示。
  大数据处理之所以困难,是因为它有别于传统关系型数据。数据量大(Volume)、速度生成快(Velocity)、数据类型多(Variety)、价值密度低(Value)是大数据的4大特点,即“4V”。尤为值得一提的是,大数据虽然量大,但与关系型数据相比,其同等数据量的经济价值要小得多,如果还像传统数据那样投入就得不偿失。
  “大数据并不适合用传统数据处理技术进行存储和分析,因而我们需要一种新的技术,而Hadoop正是这样一种数据处理技术。”Hadoop China发起人、中科院计算所查礼博士表示。据悉,Hadoop是一种开源软件架构,能够自由部署在x86平台上,其独特的分布式和可扩展性都非常适合大数据的处理。这几年Hadoop市场发展迅猛,且出现很多开源版本,如Cloudera公司的Distribution Including Apache Hadoop是其中颇有影响力的一个。
  然而,作为一种新型架构,Hadoop的技术门槛较高,从部署到数据分析处理,以及价值挖掘都有很高的技术含量,这也往往令实力一般的企业对其望而却步,并在一定程度上妨碍了Hadoop的普及和推广,而一体化Hadoop设备有望降低其中的技术门槛。实践证明,软硬一体化是一种非常好的软件部署和应用方式。
  据蒋居平介绍,Etu一体机由主节点和工作节点组成。在这种计算和存储一体的设备中,预装了操作系统和Hadoop的相关支持软件,包括集群管理、服务管理和监控管理等。正是得益于这种一体化的设计和专业技术,使得Etu一体机能够在10分钟内部署100个节点。同时,运行在该设备中的Hadoop与运行在同类配置的硬件平台上相比,性能提升4倍。而且,其内嵌的容错机制以及备份技术使得用户不必担心数据丢失和适当程度的硬件故障。
  “通过这种一体化的设备,企业可以快速部署并及时开展业务,设备的软硬技术支持窗口实现了统一,可以迅速定位和排除故障。同时也可以轻松扩容,比如,在不停机的情况下最多可增加到2000个工作节点。通过这些技术可以确保用户轻松降低总拥有成本,并迅速搭建支持各种复杂数据类型的大数据处理平台。”蒋居裕总结说。
其他文献
“用友将基于顶层设计,整合全产业链,为大企业提供私有云实施方案。”用友软件董事长兼CEO王文京在日前召开的“用友经营与管理创新年度峰会”上说,用友有能力为150万现有用户提供私有云服务。  云计算正在搅动产业格局,也为中国IT厂商带来机遇。王文京自信地认为,在未来一段时间内,IT创新的机遇在中国。这句话潜台词的意思是,用友将抓住这次IT技术的变革,一跃成为中国、亚洲乃至世界上知名的软件服务提供商。
今年2月的第48届慕尼黑安全政策会议,首次设定了“主动进攻是否是保护网络安全的最佳方式”这样的议题。5月28日, 伊朗声明,经多月调查,已确认一种名为“火焰”的新型电脑病毒,并且这种病毒可能与伊朗境内部分机构出现的大规模数据丢失事件有关。俄罗斯电脑病毒防控机构卡巴斯基称,这种新病毒十分庞大复杂,可能是“某个国家专门开发的网络战武器”。  战争是国与国对抗的一种形式,网络战是国与国在网络上对抗的形式
9月26日,央行支付结算司副司长樊爽文表示,移动支付标准现在认同为13.56MHz。媒体报道,移动支付标准还需要几大部门的会签,将于今年年底正式发布,而银行和运营商针对移动支付的布局已经开始。银联总裁许罗德称,目前基于NFC(近场通信)移动支付标准已经确定为银联标准(13.56MHz)。中国银联和中国移动之间长达3年之久的标准之争告一段落。  NFC移动支付对于消费者有着极大的实用价值,将手机和钱
本报综合报道 7月17日,多位多晶硅业界人士表示,“中国商务部已确认在多晶硅领域对美国发起‘双反’(反倾销、反补贴)立案,对韩国发起反倾销调查,企业方面已经被要求递交更为完整的申诉材料。”  本次多晶硅双反调查,是由数家国内多晶硅企业于3月共同向商务部提交申请的,这些企业包括保利协鑫、赛维LDK、大全新能源等。此次申诉也获得了商务部方面的积极回应。  中国是光伏组件生产进口大国。美国对中国光伏组件
本报综合消息 5月22日,谷歌正式宣布以125亿美元完成对摩托罗拉移动的收购。  谷歌表示,该收购案负责人丹尼斯·伍德赛德将会成为摩托罗拉移动的新任CEO。据了解,前任CEO桑杰·贾不会立即离开,而是在未来一段时间内帮助摩托罗拉移动平稳过渡,此外,多数摩托罗拉移动高管将留任。  在谷歌完成这项收购交易以前,该交易刚刚获得了中国监管部门的批准。为了获得中国监管部门的批准,谷歌承诺将至少在未来五年时间
与强生集团中国ITS(Information Technology Share Service,信息技术共享服务)部门负责人冯云中的采访约在了一个工作日的上午。这次采访的开场白和以往有所不同:首先提出问题的不是记者,而是被采访者;回答问题的也不是用户,而是在一旁的服务供应商。  甫一见面,还没等记者开口,冯云中就先向一起前来的会畅通讯的员工提出了一个问题:“最近我们有一个新的业务需求,你们看可不可
编者按:虽然步伐已经开始放缓,但智能手机市场仍处于快速增长期,对功能手机的替代依旧保持着激进态势;上一代功能手机的王者——诺基亚,则加速陨落,即将迎来又一轮全球裁员。有谁还记得,诺基亚上次传出好消息是什么时候?  本报综合消息 近日,市场研究公司IDC发布报告称,2012年智能手机的出货量将达到6.86亿部,同比增长38.8%。不过,与去年63%的年增长速度相比,智能手机的增势已经有所放缓。此外,
目前来看,除了专业的电子商务网站之外,各类传统企业也都纷纷“上网”,将产品搬到了网上。可以预见的是,未来随着网民数量的持续增加和工作生活节奏的加快,通过轻点鼠标获取工作、生活所需资料将成为大势所趋。  而随着未来互联网的进一步普及和社会信用体系的逐步完善,电子商务还将会迎来一个新的快速发展期。所以不管是电子商务,还是物流行业,都正处在快速成长阶段,未来的发展空间还很巨大。不过更重要的是,企业首先要
IBM近期对外发布了其面向入门级市场的存储产品Storwize V3500。IBM系统与科技部存储产品大中华区总经理黄建新表示,这一产品将用来填补IBM在存储市场10万元以下区间的产品空白。  一直以来,IBM在低端存储市场都是以DS3000系列“挑大梁”,而本次推出的Storwize V3500在定价和定位上都比DS3000系列的最新型号DS3500更低。用IBM系统与科技部大中华区存储产品经理
从1987年北大钱天白向德国发出第一封电子邮件开始,中国同世界一起经历了信息技术的大变革,如今,信息网络已经成为社会运行的重要基础设施,信息安全的问题,也从影响行业发展扩大到影响国家经济社会发展和安全。  5月31日下午,由工业和信息化部、国家发改委、科技部、国家外国专家局和北京市人民政府共同主办、工业和信息化部电子科学技术情报研究所承办的“2012中国信息安全产业创新发展论坛”在北京举办。工业和