论文部分内容阅读
摘要：在影响Lustre文件系统读写性能的因素中，Lustre文件系统的自身设置是非常重要的，所以研究Lustre文件系统的性能就需要在这个方面进行详细的实验测试，并根据实验结果进行分析，才能提出更符合应用需求的Lustre文件系统读写优化方案。
关键词：Lustre；读写；性能优化
中图分类号：TP316 文献标识码：A 文章编号：1007-9599 （2012） 20-0000-02
基于Linux的不同文件系统，都有其不同的特点与应用场景，NAS系统的特点是可以通过便利的管理方式实现简单的操作，然而其缺点是扩展性差，不能够满足大容量的文件分析处理；SAN实现的系统拥有较好的数据传输性能以及可扩展性，然而却无法实现跨平台的数据共享访问，所以为了更好的解决NAS以及SAN系统的不足，并且更好的利用其优点，就逐渐形成了Lustre文件系统，实现了数据高速访问的同时，也提高了数据文件的简单化管理以及共享性操作，极大的提高了数据的存储操作效率。
在Lustre自身设置的各个不同方面中，最影响系统性能的两个方面是OST（条块数）以及如何条块化，这也是Lustre文件系统并发I/O操作提升性能的关键因素。在Lustre文件系统实际应用时，条块数这一关键参数是在系统的初始化时即配置的，主要体现在三个不同的配置层面，分别是stripecount（分条块数），stripesize（条块大小），start-ost（起始块数）。当分条块数的值赋予-1时，表示在OST上实施条块的分割，以确保I/O能够获得最大化的操作并发性能；当起始块数设置为-1时，表示不指定OST，实现了负载的均衡；而条块大小写的大小通过会根据测试应用的实际需求设置不同的值。
1 条块大小测试
在Lustre文件系统应用时，由于条块的大小能够影响到Lustre文件系统的读写操作性能，所以在验证影响Lustre文件操作性能的实验时，也必须对条块的大小对聚合带宽的影响进行相应的测试。在验证实验时，分别测试了Lustre文件条块由小逐渐增大过程中Lustre文件系统读写的聚合带宽的改变及读写效率的差异，如表1所示为实际测试条块大小对Lustre文件系统聚合带宽影响的实验数据。
通过实验测试表格可知，当条块大小逐渐增大时，会使得Lustre文件系统的读写聚合带宽都降低，进而影响Lustre文件系统的操作性能。为了更好的发挥出Lustre文件系统的整体性能，在实际应用时最好设置比较小的条块，才能更好的增加系统的并发性，进而增加系统的聚合带宽，增加使用的性能。
由图1可知，当Lustre条块大小逐渐增时，其聚合宽带参数则逐渐出现下边的趋势，由此可以看出，为了更好的发挥出Lustre文件系统的整体性能，在实际应用时最好设置比较小的条块，才能更好的增加系统的并发性，进而增加系统的聚合带宽，增加使用的性能。
2 条块数差异测试
在Lustre文件系统应用时，影响Lustre文件系统性能的自身设置除了条块的大小，条件数的不同也能够影响到Lustre文件系统的读写操作性能，所以在验证影响Lustre文件操作性能的实验时，也必须对条块数的不同对聚合带宽的影响进行相应的测试以验证条块数的不同对聚合带宽的影响。在验证条块数对Lustre文件系统性能影响实验时，分别验证测试了Lustre文件条块数小逐渐增多过程中Lustre文件系统读写的聚合带宽的改变以及读写效率的差异，如表2所示为实际测试条块数不同对Lustre文件系统聚合带宽影响的实验数据。
由表2条块数的不同对Lustre文件系统读写聚合带宽的影响可知，在现有的实验条件下，Lustre文件系统的文件条块数的增加会使得其读写聚合带宽呈递增的趋势。为了能够更好的反应Lustre文件系统应用时文件条块数的不同对文件读写操作性能的影响，绘制了如图2所示的读写文件条块数不同对Lustre文件系统性能测试影响结果。
由图2可知，在Lustre文件系统条块大小固定时，当条块数不断增加时，其聚合带宽也是逐渐趋于上升的态势，由此可知，当条块数目设置为1时，Lustre文件系统无并发性，聚合带宽也最低，但是当条块数逐渐增加时，Lustre系统并发性能以及聚合带宽都在提升，所以只要合理设置条块数的大小，会对Lustre文件系统性能带来更有利的发展局面。
3 性能优化策略
根据影响Lustre性能的因素及条件分析可知，影响Lustre文件读写性能的原因是多方面的，然而却有几个比较重要的方面，如果能够在这几个方面进行相应的优化设置，则会在一定程度上提升Lustre文件系统的文件操作读写性能，如图3所示为Lustre文件系统性能优化策略结构图。
根据图4可以发现，Lustre自身设置包括条块大小与条块数的差异不同都会影响到Lustre文件系统的读写操作性能。由条块大小对Lustre文件系统性能影响可知，当条块数的字节数逐渐增大时，Lustre文件系统的文件读取性能出现逐渐下降的趋势，并且在条块大小为64K字节时最高，当条块大小增加到128M时，其性能基本下降1倍；并且其数据文件的写入性能在条块数的比较小的范围内，通过是小于4M字节大小范围内基本保持不变，然后当条块大小继续增加时其性能也会继续下降，主要体现在当条块大小增加到128M时，其性能直接下降3倍，所以在Lustre文件系统实际应用时，应设置比较小的条块字节，比如64K字节就是一个比较好的值。由分析可知，影响Lustre文件系统性能的自身设置还是有条块数的不同，根据条块数差异对Lustre文件系统性能影响结果进行分析，当条块数只有1个时，Lustre文件系统的读写性能最低，当条块数增加到2个时，文件读取与写入性能都将近提升了1倍，然而当条块数增加到2个时，Lustre文件系统的读取性能则出现了下降，但是其数据写入性能还是在继续提升，所以条块数刚开始增加时能够同时提升Lustre文件系统的读写性能，然而当条块数增加到一定数值时，其数据读取性能则出现了下降，所以在实际应用时一定要注意条块数的设置才能够提供一个更好的Lustre文件系统性能，通过实验可知，设置5个条块数是一个比较好的选择。
总之，通过Lustre性能测试研究结果可知，要想不断的提升Lustre应用系统的整体应用性能，就需要不断的在网络传输、Lustre自身初始设置以及应用端设置等几个不同的层面多测试、多总结、多分析应用，才能够在具体的实际应用中根据实际情况设置更好的数据，达到提升Lustre系统性能的目的。
4 小结
本文从Lustre自身设置详细分析了Lustre性能提升相关的影响因素，并根据实验结果进行了详细的分析，提出了不同的实验应用条件下，Lustre文件系统的具体性能对比，进而根据这些对比结果提出了改善与提升Lustre文件系统性能的策略与方法。
参考文献：
[1]张继征，杨波，陆体军等.NAS与SAN的融合[J].计算机应用研究，2005.22（8）：190-192.
[2]余寅辉，余镇危，杨传栋等.SAN存储系统的性能分析模型[J].计算机工程，2007.33（10）：271-273.
[3]Oracle.Lustre 1.8 Operations Manual[EB/OL].（2010.6）[2010.8] http：//wiki.lustre.org/images/0/09/821-0035_v1.3.pdf
关键词：Lustre；读写；性能优化
中图分类号：TP316 文献标识码：A 文章编号：1007-9599 （2012） 20-0000-02
基于Linux的不同文件系统，都有其不同的特点与应用场景，NAS系统的特点是可以通过便利的管理方式实现简单的操作，然而其缺点是扩展性差，不能够满足大容量的文件分析处理；SAN实现的系统拥有较好的数据传输性能以及可扩展性，然而却无法实现跨平台的数据共享访问，所以为了更好的解决NAS以及SAN系统的不足，并且更好的利用其优点，就逐渐形成了Lustre文件系统，实现了数据高速访问的同时，也提高了数据文件的简单化管理以及共享性操作，极大的提高了数据的存储操作效率。
在Lustre自身设置的各个不同方面中，最影响系统性能的两个方面是OST（条块数）以及如何条块化，这也是Lustre文件系统并发I/O操作提升性能的关键因素。在Lustre文件系统实际应用时，条块数这一关键参数是在系统的初始化时即配置的，主要体现在三个不同的配置层面，分别是stripecount（分条块数），stripesize（条块大小），start-ost（起始块数）。当分条块数的值赋予-1时，表示在OST上实施条块的分割，以确保I/O能够获得最大化的操作并发性能；当起始块数设置为-1时，表示不指定OST，实现了负载的均衡；而条块大小写的大小通过会根据测试应用的实际需求设置不同的值。
1 条块大小测试
在Lustre文件系统应用时，由于条块的大小能够影响到Lustre文件系统的读写操作性能，所以在验证影响Lustre文件操作性能的实验时，也必须对条块的大小对聚合带宽的影响进行相应的测试。在验证实验时，分别测试了Lustre文件条块由小逐渐增大过程中Lustre文件系统读写的聚合带宽的改变及读写效率的差异，如表1所示为实际测试条块大小对Lustre文件系统聚合带宽影响的实验数据。
通过实验测试表格可知，当条块大小逐渐增大时，会使得Lustre文件系统的读写聚合带宽都降低，进而影响Lustre文件系统的操作性能。为了更好的发挥出Lustre文件系统的整体性能，在实际应用时最好设置比较小的条块，才能更好的增加系统的并发性，进而增加系统的聚合带宽，增加使用的性能。
由图1可知，当Lustre条块大小逐渐增时，其聚合宽带参数则逐渐出现下边的趋势，由此可以看出，为了更好的发挥出Lustre文件系统的整体性能，在实际应用时最好设置比较小的条块，才能更好的增加系统的并发性，进而增加系统的聚合带宽，增加使用的性能。
2 条块数差异测试
在Lustre文件系统应用时，影响Lustre文件系统性能的自身设置除了条块的大小，条件数的不同也能够影响到Lustre文件系统的读写操作性能，所以在验证影响Lustre文件操作性能的实验时，也必须对条块数的不同对聚合带宽的影响进行相应的测试以验证条块数的不同对聚合带宽的影响。在验证条块数对Lustre文件系统性能影响实验时，分别验证测试了Lustre文件条块数小逐渐增多过程中Lustre文件系统读写的聚合带宽的改变以及读写效率的差异，如表2所示为实际测试条块数不同对Lustre文件系统聚合带宽影响的实验数据。
由表2条块数的不同对Lustre文件系统读写聚合带宽的影响可知，在现有的实验条件下，Lustre文件系统的文件条块数的增加会使得其读写聚合带宽呈递增的趋势。为了能够更好的反应Lustre文件系统应用时文件条块数的不同对文件读写操作性能的影响，绘制了如图2所示的读写文件条块数不同对Lustre文件系统性能测试影响结果。
由图2可知，在Lustre文件系统条块大小固定时，当条块数不断增加时，其聚合带宽也是逐渐趋于上升的态势，由此可知，当条块数目设置为1时，Lustre文件系统无并发性，聚合带宽也最低，但是当条块数逐渐增加时，Lustre系统并发性能以及聚合带宽都在提升，所以只要合理设置条块数的大小，会对Lustre文件系统性能带来更有利的发展局面。
3 性能优化策略
根据影响Lustre性能的因素及条件分析可知，影响Lustre文件读写性能的原因是多方面的，然而却有几个比较重要的方面，如果能够在这几个方面进行相应的优化设置，则会在一定程度上提升Lustre文件系统的文件操作读写性能，如图3所示为Lustre文件系统性能优化策略结构图。
根据图4可以发现，Lustre自身设置包括条块大小与条块数的差异不同都会影响到Lustre文件系统的读写操作性能。由条块大小对Lustre文件系统性能影响可知，当条块数的字节数逐渐增大时，Lustre文件系统的文件读取性能出现逐渐下降的趋势，并且在条块大小为64K字节时最高，当条块大小增加到128M时，其性能基本下降1倍；并且其数据文件的写入性能在条块数的比较小的范围内，通过是小于4M字节大小范围内基本保持不变，然后当条块大小继续增加时其性能也会继续下降，主要体现在当条块大小增加到128M时，其性能直接下降3倍，所以在Lustre文件系统实际应用时，应设置比较小的条块字节，比如64K字节就是一个比较好的值。由分析可知，影响Lustre文件系统性能的自身设置还是有条块数的不同，根据条块数差异对Lustre文件系统性能影响结果进行分析，当条块数只有1个时，Lustre文件系统的读写性能最低，当条块数增加到2个时，文件读取与写入性能都将近提升了1倍，然而当条块数增加到2个时，Lustre文件系统的读取性能则出现了下降，但是其数据写入性能还是在继续提升，所以条块数刚开始增加时能够同时提升Lustre文件系统的读写性能，然而当条块数增加到一定数值时，其数据读取性能则出现了下降，所以在实际应用时一定要注意条块数的设置才能够提供一个更好的Lustre文件系统性能，通过实验可知，设置5个条块数是一个比较好的选择。
总之，通过Lustre性能测试研究结果可知，要想不断的提升Lustre应用系统的整体应用性能，就需要不断的在网络传输、Lustre自身初始设置以及应用端设置等几个不同的层面多测试、多总结、多分析应用，才能够在具体的实际应用中根据实际情况设置更好的数据，达到提升Lustre系统性能的目的。
4 小结
本文从Lustre自身设置详细分析了Lustre性能提升相关的影响因素，并根据实验结果进行了详细的分析，提出了不同的实验应用条件下，Lustre文件系统的具体性能对比，进而根据这些对比结果提出了改善与提升Lustre文件系统性能的策略与方法。
参考文献：
[1]张继征，杨波，陆体军等.NAS与SAN的融合[J].计算机应用研究，2005.22（8）：190-192.
[2]余寅辉，余镇危，杨传栋等.SAN存储系统的性能分析模型[J].计算机工程，2007.33（10）：271-273.
[3]Oracle.Lustre 1.8 Operations Manual[EB/OL].（2010.6）[2010.8] http：//wiki.lustre.org/images/0/09/821-0035_v1.3.pdf