归并比较评测方法是一种有效的比较两个搜索引擎结果质量优劣的评测方法。本文对在这类方法中考虑用户收益的方式进行了深入的研究，主要贡献包括以下三个方面：1）本文提出了基于点击收益的归并比较评测方法。这类方法通过定义文档收益，将文档的排序位置引入打分函数中，从而改善了已有方法对位置信息利用不够充分的问题，提高了比较结果的准确率和效率。在提出的新方法中，Softmax形式的基于点击收益的平衡归并法能够很好地替代已有方法中的最优方法，减少计算代价而不损失准确率和效率。2）本文提出了基于收益比的归并比较评测方法。这类方法利用理想收益来衡量列表在归并函数中的贡献，使用收益比的打分函数，通过归一化列表的点击收益，消除了两个列表贡献不同造成的偏向问题。实验证明，使用收益比的打分函数有效地提高了概率归并法的准确率和收敛效率，并放宽了归并比较评测方法中比较函数对归并函数的限制，使得归并函数可以更加灵活。3）本文提出了序列化归并法。这种方法的归并函数利用文档在两个列表中的文档收益进行归并，它还可以利用用户点击数据很好地改善归并文档列表质量。这种方法为以后的归并比较评测方法研究提供了另一种很好的思路和方向。