本发明公开了一种基于简单动作的探索特权信息的复杂动作识别方法，该方法包括如下步骤：S1、利用改进的密集轨迹(IDT特征)对简单动作和复杂动作的视频提取特征，得到特征矩阵；S2、探索简单动作中的有效信息作为特权信息；S3、通过特权信息，建立模型，帮助复杂动作的学习。本发明对复杂动作进行分析，考虑复杂动作可以由一系列的简单动作组合而成，提出一种全新的框架，通过利用一系列的简单动作实现复杂动作的识别。本发明通过特权信息矩阵编码每个简单动作在复杂动作中发生的概率，帮助复杂动作的学习，从而提高复杂动作的识别率。