特征工程是数据挖掘项目中最困难、最耗时的任务之一,需要较强的专家知识。受限于计算复杂度,现有的特征工程技术倾向于使用有限数量的简单特征并在简单数据集上验证它们的方法。但是这显然限制了特征工程的性能。本文提出了一种通用的自动特征工程框架AFEM。我们定义了复杂特征族,展示了这个框架覆盖了工程技术中使用的大部分现有特征,并允许我们高效地生成复杂特征族:特别的,我们为传统数据集和社交网络数据集使用了基于时间和社交网络的族以及特征的组合。通过每次引入一个特征族(自底向上)并选择最有优的特征族的方法来引入使用特征的过程,从而减轻了自顶向下方法的计算开销。我们在两个现实的数据科学竞赛和一个具有社会网络的推荐系统任务上验证了本文的方法。在前两个任务中,AFEM达到了人类团队的15名和12名;在最后一个任务中,它实现了 1.5%的回归误差减少。此外,本文还分析了在大数据和Web应用环境下,计算时间与特征/性能数量之间的平衡:在一个案例研究中,我们可以减少2/3计算时间,而AUC性能损失仅为0.2%。自动化特征工程主要的困难来自需要考虑的多种信息、潜在无限数量的可能特征以及特征生成和评估的时间成本。我们接下来提出了一个新的特征学习框架LAFEM,它把特征工程问题组织成一个异构变换图(HTG),然后通过深度Q-学习和RNN找到最优解。我们比较了 LAFEM和一些现有的自动有限元技术在120组大型数据集上的性能,表明LAFEM在大型数据集上的模型精度和时间效率几乎总是优于它们。