本文以人体行为识别作为研究内容。它已成为计算机视觉领域里一个非常重要的研究主题，而且有着广泛的应用，诸如视频监控，人机交互，视频检索以及野生监控。由于分类性能会受到遮挡、尺度变化以及视角不同的影响，所以如何获取一个准确而且有判别性的行为表示变得具有挑战性。尽管基于局部空时描述子的方法有比较好的结果，但是传统的词袋方法对于后续分类来说显得不够精准而且判别性不强。这是因为词袋方法没有考虑特征的空间分布信息而且将每个特征归类为与之最近的关键词会导致非常大的重构误差。为了进行有效地特征编码，本文研究了特征的内在结构，比如在局部特征空间的流形结构以及稀疏低秩结构。主要成果如下：1.提出了一种新的图正则局部约束编码并用于人体行为识别。首先利用局部约束项把每个特征映射到一个局部坐标下；然后通过将图拉普拉斯作为一个光滑算子计算出每个行为局部特征的相似性。这样，在最终的表示时该相似性得以保持。由于该方法具有解析解，因此其计算量非常小。2.提出了流形约束编码以及稀疏表示用于人体行为识别。在一个有效的编码方法中，一个l2范数正则揭示了所得特征的流行结构。结合一个局部约束项，所提出的编码方法具有解析解，而且可以得到一个准确、紧致以及具有判别性的行为表示。之后，行为识别被描述成一个由已标记行为表示所构成的字典的稀疏线性组合问题。该阶段同样使用了相同的l2范数正则项。在每类上的重构误差被用于分类。在几个公共数据集包括各种人体行为及人脸表情上的实验结果证实了该方法的有效性。3.提出了基于局部空时特征的低秩表示用于人体行为的识别。假定有一个局部特征集，稀疏表示是为了逐个得到每个局部特征的最稀疏表示，而低秩表示是同时得到一系列特征的最低秩表示。因此，低秩表示可以更好地从每个人的一个动作中捕获其局部特征的全局结构。具体地，首先利用k均值算法创建一个码书，然后在低秩约束下，对来自一个人的一个动作的局部空时特征进行编码。最后，基于稀疏表示分类器实现行为识别。