一直以来,非平衡数据的分类问题都是数据挖掘与机器学习研究人员不断探索的课题,由于非平衡数据集固有的复杂特性,对于这一问题的研究虽一直在进步,但仍然存在许多现实的问题未得到根本解决。本文首先研究了非平衡数据的内在数据特征,对非平衡数据集当中普遍存在的分布特征进行总结归纳,并且分析了由这些数据特征引起的分类问题,目的是有针对性地进行数据处理和算法优化;其次,本文介绍了熵理论基础,阐明熵概念对于数据分布的有效表达,在后面的研究中利用熵工具对数据分布特点做有效评估;最后在此基础之上,进行以下几点研究:（1）由于非平衡数据中两类样本数量相差悬殊,导致其分类的概率分布也存在不平衡现象,此时标准熵对其分布的表示会存在一定偏差。为适应非平衡数据,改进标准熵,构造了一种非平衡熵,并且利用熵基本公理证明非平衡熵的合理性,为过采样算法的优化提供思路。（2）在非平衡数据的二分类问题中,两类数据重叠程度将影响分类器分类性能,针对这一问题,本文在标准熵的基础上,提出一种新的数据质量评价指标。主要通过熵工具JS散度评估采样数据的重叠程度,进而对非平衡数据重采样的数据质量进行评价,目的是省去在非平衡数据预处理阶段的分类步骤,降低算法时间复杂度。最后进行实验验证,用新的评价指标与已适用的评价指标进行对比,得到了评估结果的一致性。（3）为充分考虑非平衡数据分布特征的影响,进行最合理的过采样,本文采用最大熵思想,提出基于最大熵模型的非平衡数据过采样算法。首先构建数据分布的最大熵模型,求解得到最具合理性的数据集的概率分布,然后根据数据的概率分布确定样本权重,从而进行数据过采样,最后选择非平衡数据集进行实验验证,结果证实了模型的有效性。