图像处理、信息检索以及生物信息学等大规模机器学习问题的不断涌现,对已有的特征选择算法和机器学习算法提出了严峻的挑战,迫切需要适应大规模数据集的准确性和运行效率等综合性能较好的特征选择算法以及机器学习算法。本文在高维数据的特征选择以及无监督的动态特征选择方面开展了研究。本文首先介绍了信息理论和特征选择的基础知识,并且介绍了几个典型的特征选择方法,其中ReliefF算法被公认为一种简单高效的Filter类型的特征选择算法。针对ReliefF算法的不足,利用信息论中的散度对其进行了改进,在相同的时间复杂度下,使得结果的有效性得到了一定的改善。为了弥补Individual Evaluation结果的有效性较差和Subset Evaluation的效率较低的缺点,提出了两步法的特征选择框架,并且实现了去除冗余特征的算法,在保证结果有效性的前提下相对于Subset Evaluation大大降低了时间复杂度。对无监督的特征选择算法进行了尝试性的研究,在增加无标签样本的情况下实现了对特征集合的自动修正,验证了这种实验方法的可行性。