论文部分内容阅读
随着互联网成为人们获取信息的重要途径,百度对计算资源的需求也越来越大。
“现在百度每天的数据搜索请求约为十几亿条,日处理数据量达几十PB。”百度云首席架构师林仕鼎表示,非结构化数据量飞速增长,如何更好地存储和处理这些数据,从中挖掘出更多有意义的信息,是百度应对大数据时代的当务之急,也是百度数据中心建设面临的挑战。
ARM架构首次商用
随着数据量的与日俱增、云数据中心的出现,节能降耗成为企业建设数据中心的首要任务。对此,百度的思路是不仅要降低运营成本,而且要考虑如何从服务器本身的角度出发来节能降耗。百度建立了ARM架构体系在全球的首个大规模商用典范。百度南京数据中心集成了大规模的万兆网络集群(5000台),其中ARM架构体系承担了主要的存储和轻量计算任务。
ARM体系在降低能耗方面表现出众,但计算能力是其短板。在百度的南京数据中心,记者了解到,ARM架构的存储体系主要用于支撑个人云存储服务。林仕鼎介绍称:“ARM基于百度云平台将软件与CPU解耦,实现了轻计算负载,高密度存储,存储密度提升了70%。”林仕鼎向本报记者介绍,百度通过自主研发改进系统框架、多重备份等途径,实现了存储系统的高可靠性和可用性。
从数据上看,百度南京数据中心的节能降耗成绩喜人。林仕鼎透露:“南京数据中心存储密度提升70%,TCO(整体拥有成本)提升25%。”据悉,百度还获得了10项发明专利。目前,百度正在全国各地建设多个数据中心,ARM架构体系将在百度未来自有数据中心中获得更大提升。
目前,ARM架构并没有在百度的商用和核心业务中使用。诸如图形计算等复杂的高级计算,让ARM架构体系“束手无策”。ARM架构体系是否有商用推广的价值?对此,林仕鼎认为:“ARM架构计算能力不强,但即便如此也能很好地支持存储、前端接入等业务。另外,对数据中心而言,性能问题往往并非最大的瓶颈。”他告诉记者,为了让ARM架构体系发挥更多作用,“百度从数据中心的整体设计出发,将计算任务分解,将复杂业务细分化,让ARM架构承担更多功能,从而达到节能降耗的目标”。
坚持自主研发
自主研发、深度定制是百度南京数据中心的个性化标签。“百度南京数据中心是一个全新的模式,用软件定义整个系统,包括上层应用系统、存储系统、应用调度系统、整机柜服务器等各个方面。”林仕鼎表示。比如,基于自主研发,百度南京数据中心的万兆网络接入成本基本与当前市场的同类千兆接入成本相当。
同时,百度在南京机房首次部署的自主研发的整机柜服务器,通过共享架构和模块化设计,实现服务器机柜级一体化设计和整体交付,对比标准服务器,TCO下降10%以上,峰值交付效率提升近10倍。在该项目中,百度拥有40项设计专利。林仕鼎表示:“整机柜服务器由百度自主研发,与百度数据中心更匹配,更贴近百度的业务需求。”
此外,百度自主研发的SSD,从数据中心整体层面考虑冗余,而不是从单个硬件的角度考虑,与行业通用的PCIe flash相比,其性能提升两倍,成本降低了40%;与SATA SSD相比,性能提升6倍,成本降低10%。百度通过设计服务器和操作系统,进行优化和定制,使得服务器能够实现持续到达硬件极限的高性能和高吞吐量。
个性化定制是未来企业建设数据中心的趋势,但并不是所有企业都具备这个实力,只有具备一定规模和技术的公司才需要并且能够实施。为此,百度希望在数据中心、服务器、存储、网络等各个方面建立自己的云数据中心标准,引领云数据中心的发展,提升整个行业的水平。
“现在百度每天的数据搜索请求约为十几亿条,日处理数据量达几十PB。”百度云首席架构师林仕鼎表示,非结构化数据量飞速增长,如何更好地存储和处理这些数据,从中挖掘出更多有意义的信息,是百度应对大数据时代的当务之急,也是百度数据中心建设面临的挑战。
ARM架构首次商用
随着数据量的与日俱增、云数据中心的出现,节能降耗成为企业建设数据中心的首要任务。对此,百度的思路是不仅要降低运营成本,而且要考虑如何从服务器本身的角度出发来节能降耗。百度建立了ARM架构体系在全球的首个大规模商用典范。百度南京数据中心集成了大规模的万兆网络集群(5000台),其中ARM架构体系承担了主要的存储和轻量计算任务。
ARM体系在降低能耗方面表现出众,但计算能力是其短板。在百度的南京数据中心,记者了解到,ARM架构的存储体系主要用于支撑个人云存储服务。林仕鼎介绍称:“ARM基于百度云平台将软件与CPU解耦,实现了轻计算负载,高密度存储,存储密度提升了70%。”林仕鼎向本报记者介绍,百度通过自主研发改进系统框架、多重备份等途径,实现了存储系统的高可靠性和可用性。
从数据上看,百度南京数据中心的节能降耗成绩喜人。林仕鼎透露:“南京数据中心存储密度提升70%,TCO(整体拥有成本)提升25%。”据悉,百度还获得了10项发明专利。目前,百度正在全国各地建设多个数据中心,ARM架构体系将在百度未来自有数据中心中获得更大提升。
目前,ARM架构并没有在百度的商用和核心业务中使用。诸如图形计算等复杂的高级计算,让ARM架构体系“束手无策”。ARM架构体系是否有商用推广的价值?对此,林仕鼎认为:“ARM架构计算能力不强,但即便如此也能很好地支持存储、前端接入等业务。另外,对数据中心而言,性能问题往往并非最大的瓶颈。”他告诉记者,为了让ARM架构体系发挥更多作用,“百度从数据中心的整体设计出发,将计算任务分解,将复杂业务细分化,让ARM架构承担更多功能,从而达到节能降耗的目标”。
坚持自主研发
自主研发、深度定制是百度南京数据中心的个性化标签。“百度南京数据中心是一个全新的模式,用软件定义整个系统,包括上层应用系统、存储系统、应用调度系统、整机柜服务器等各个方面。”林仕鼎表示。比如,基于自主研发,百度南京数据中心的万兆网络接入成本基本与当前市场的同类千兆接入成本相当。
同时,百度在南京机房首次部署的自主研发的整机柜服务器,通过共享架构和模块化设计,实现服务器机柜级一体化设计和整体交付,对比标准服务器,TCO下降10%以上,峰值交付效率提升近10倍。在该项目中,百度拥有40项设计专利。林仕鼎表示:“整机柜服务器由百度自主研发,与百度数据中心更匹配,更贴近百度的业务需求。”
此外,百度自主研发的SSD,从数据中心整体层面考虑冗余,而不是从单个硬件的角度考虑,与行业通用的PCIe flash相比,其性能提升两倍,成本降低了40%;与SATA SSD相比,性能提升6倍,成本降低10%。百度通过设计服务器和操作系统,进行优化和定制,使得服务器能够实现持续到达硬件极限的高性能和高吞吐量。
个性化定制是未来企业建设数据中心的趋势,但并不是所有企业都具备这个实力,只有具备一定规模和技术的公司才需要并且能够实施。为此,百度希望在数据中心、服务器、存储、网络等各个方面建立自己的云数据中心标准,引领云数据中心的发展,提升整个行业的水平。