论文部分内容阅读
“在最新的TOP500榜单中,有155套系统使用DDN的解决方案,而排名前100的系统中有多达61套系统使用的是DDN存储。”DDN首席运营官Erwan Menard表示,在高性能计算领域,DDN多年来的技术和经验积累使其能够在计算系统和存储的结合方面更加了解用户的需求,提供业界领先的解决方案。当前,在云和大数据的推动下,HPC在行业和商用领域的应用已经越来越广。12月13日,DDN在北京举办发布会,推出四款面向云和大数据的解决方案和新产品。
大数据分析四大挑战
“大数据对包含计算、存储等系统在内的基础平台提出的重要挑战是如何加速工作流。” Erwan Menard表示,“大数据解决方案应涵盖数据生命周期的四个过程——抽取、存储、处理和分发。”这其中的每一个步骤都对存储系统的设计都提出了相应的要求。Erwan Menard的解释是:在数据的抽取上,系统更关注的是I/O性能;在数据的存储方面,能效和密度是关键词;提供存储内的计算能力,将处理功能和能力放置于离数据更近的地方已经成为存储系统设计的重要原则;在数据的分发上,DDN提供面向大型网站和云的对象存储,可快速分发结果,让更多用户更快地接受信息。
在谈到DNN存储解决方案和产品的优势时,Erwan Menard认为DDN的特点主要集中在三个方面:以SFA系列产品为例,在海量数据的存储上,DDN解决方案的高扩展性可以满足用户的需求;面向云的存储解决方案WOS,可以在一个系统中存储多达2500亿个对象/块/文件;DDN解决方案和产品拥有存储内计算的能力,可通过控制器和软件为数据提供更好的内部处理性能。“DDN拥有管理数据的专利技术,控制器的设计和软件方面的相关技术是DDN存储实现高性能的关键。”Erwan Menard表示。
面向工作流的混合应用
DDN解决方案和产品的一个重要特性是能在一个系统中混合使用SSD、SATA、SAS等不同种类的硬盘。Erwan Menard表示,目前SSD在HPC和大数据相关的解决方案中得到了应用,但大多数厂商是将SSD单独地作为一层存储来应用的。特别是带PCIe插口的SSD,在分层存储里应用得比较多,经常访问的数据放在最快的SSD里面,大大提高了读写的速度。DDN能够混合使用不同的硬盘并实现分层管理,这样系统就能更好地兼顾高I/O、高带宽以及低成本。“DDN解决方案分层存储和管理的特性,能使不同种类的硬盘发挥其最大的功效,真正做到混合应用,这是DDN与其他厂商不同的地方。” Erwan Menard说。
存储系统的设计和选择必须结合特定的工作流和应用场景来考量,无论是分布式存储还是集中式共享存储。Erwan Menard解释说,有些应用只写一次,却要读多次,比如备份、归档等,但在一些大型网络服务中,用户往往需要快速实现文件共享和数据同步,这就要求系统兼具高性能和高带宽。应对这种情况,面向对象的存储更适合。
大众化的HPC
Erwan Menard介绍,DDN的大型存储系统和高端存储系统主要面向四类应用环境:第一,云、托管及Web应用,提供存储和网络的结合;第二,高性能计算,面向政府、商用和科研应用等领域;第三,面向非结构化数据的视频监控;第四,广电媒体的流媒体数据存储和应用。
美国政府使用HP收购的Vertica和DDN相结合的解决方案,实现了数据库千亿次/秒的查询速度。世界知名的统计软件研究机构SAS应用DDN解决方案加速数据分析和风险评估应用,其白皮书验证了DDN硬件的实施效果。在金融业,DDN的产品结合数据库软件用于股票交易等市场分析和预测业务中。基于硬件的测试分析结果显示,DDN可有效加速应用响应和分析速度。
据悉,DDN将于2013年推出结合Hadoop的解决方案。Erwan Menard表示,DDN将把Hadoop集成到现有的SFA平台系统中,将计算、存储和Hadoop应用放在一起。与此同时,DDN的控制器和软件将快速将文件系统、Hadoop集成在一起,同时通过管理软件使非专业的IT人员也能非常容易地使用它。
大数据分析四大挑战
“大数据对包含计算、存储等系统在内的基础平台提出的重要挑战是如何加速工作流。” Erwan Menard表示,“大数据解决方案应涵盖数据生命周期的四个过程——抽取、存储、处理和分发。”这其中的每一个步骤都对存储系统的设计都提出了相应的要求。Erwan Menard的解释是:在数据的抽取上,系统更关注的是I/O性能;在数据的存储方面,能效和密度是关键词;提供存储内的计算能力,将处理功能和能力放置于离数据更近的地方已经成为存储系统设计的重要原则;在数据的分发上,DDN提供面向大型网站和云的对象存储,可快速分发结果,让更多用户更快地接受信息。
在谈到DNN存储解决方案和产品的优势时,Erwan Menard认为DDN的特点主要集中在三个方面:以SFA系列产品为例,在海量数据的存储上,DDN解决方案的高扩展性可以满足用户的需求;面向云的存储解决方案WOS,可以在一个系统中存储多达2500亿个对象/块/文件;DDN解决方案和产品拥有存储内计算的能力,可通过控制器和软件为数据提供更好的内部处理性能。“DDN拥有管理数据的专利技术,控制器的设计和软件方面的相关技术是DDN存储实现高性能的关键。”Erwan Menard表示。
面向工作流的混合应用
DDN解决方案和产品的一个重要特性是能在一个系统中混合使用SSD、SATA、SAS等不同种类的硬盘。Erwan Menard表示,目前SSD在HPC和大数据相关的解决方案中得到了应用,但大多数厂商是将SSD单独地作为一层存储来应用的。特别是带PCIe插口的SSD,在分层存储里应用得比较多,经常访问的数据放在最快的SSD里面,大大提高了读写的速度。DDN能够混合使用不同的硬盘并实现分层管理,这样系统就能更好地兼顾高I/O、高带宽以及低成本。“DDN解决方案分层存储和管理的特性,能使不同种类的硬盘发挥其最大的功效,真正做到混合应用,这是DDN与其他厂商不同的地方。” Erwan Menard说。
存储系统的设计和选择必须结合特定的工作流和应用场景来考量,无论是分布式存储还是集中式共享存储。Erwan Menard解释说,有些应用只写一次,却要读多次,比如备份、归档等,但在一些大型网络服务中,用户往往需要快速实现文件共享和数据同步,这就要求系统兼具高性能和高带宽。应对这种情况,面向对象的存储更适合。
大众化的HPC
Erwan Menard介绍,DDN的大型存储系统和高端存储系统主要面向四类应用环境:第一,云、托管及Web应用,提供存储和网络的结合;第二,高性能计算,面向政府、商用和科研应用等领域;第三,面向非结构化数据的视频监控;第四,广电媒体的流媒体数据存储和应用。
美国政府使用HP收购的Vertica和DDN相结合的解决方案,实现了数据库千亿次/秒的查询速度。世界知名的统计软件研究机构SAS应用DDN解决方案加速数据分析和风险评估应用,其白皮书验证了DDN硬件的实施效果。在金融业,DDN的产品结合数据库软件用于股票交易等市场分析和预测业务中。基于硬件的测试分析结果显示,DDN可有效加速应用响应和分析速度。
据悉,DDN将于2013年推出结合Hadoop的解决方案。Erwan Menard表示,DDN将把Hadoop集成到现有的SFA平台系统中,将计算、存储和Hadoop应用放在一起。与此同时,DDN的控制器和软件将快速将文件系统、Hadoop集成在一起,同时通过管理软件使非专业的IT人员也能非常容易地使用它。