回归测试是一种保障软件质量的重要方式。随着互联网行业高速发展,软件的规模越来越大,变更越来越快,这导致时间受限的回归测试中,经常会遇到无法执行所有测试用例的情况。测试用例优先级技术（Test Case Prioritization,TCP）,能赋予测试用例优先级,从而优先执行更重要的测试,这是一种重要的提高效率的回归测试技术。研究人员在度量TCP技术的有效性时,真实项目缺陷和变异都被广泛研究和应用,涉及到测试用例执行时间的研究通常使用真实工业级项目日志或者实验样本项目多次执行的均值,但是测试执行时间的稳定性在度量TCP效果时很少被考虑。多数研究只关注TCP技术本身,而忽略了被应用项目的因素,尤其是时间因素。为了评估应用TCP技术时时间因素对TCP技术效果的影响,本文中选取了6种被广泛研究的TCP技术,在31个Git Hub的开源Java项目上进行了一项大规模实证研究,分析测试执行时间稳定性和TCP技术的表现,并在开源工业级数据集GSDTSR上进行了时间稳定性分析。实验结果如下:（1）不同顺序和不同粒度的测试执行时间都有统计上显著差异,其中部分项目在具体执行时间上变化很大;（2）项目的测试用例执行时间倒数的分布、覆盖分布和单位时间覆盖分布因素与不同的优化目标呈现高度正相关,该高度正相关性与不同的TCP度量指标APFD（Average Percentage of Faults Detected）和APFDc（the cost-cognizant APFD）数值分布出现高度吻合;（3）测试用例执行时间稳定性对TCP技术的APFDc值有显著性的影响;（4）在工业数据集中同样存在与实验项目中类级别测试相仿的时间稳定性问题。本文实验表明,在测试用例执行时间稳定性差的时候,APFDc度量的有效性遭到了破坏,实际的APFDc值远低于理想预估水平。因此在TCP技研究和应用中研究人员应当首先对时间稳定性进行评估,再根据评估结果选用合适的时间相关TCP技术和度量指标,从而进行下一步TCP技术效率对比研究和应用。