本发明公开了一种基于多目标检测3DCNN的人体行为识别方法及系统，该方法包括：1)对视频进行预处理，将视频流转化为图像帧；2)采用目前比较成熟的SSD检测技术对视频中的目标对象进行标定裁剪；3)建立图像帧数据和标定裁剪数据的特征提取网络结构；4)建立特征融合模型，将步骤3)中提取的两种特征进行融合；5)利用Softmax回归模型分类器进行分类；6)根据实际的应用场景或公共数据集，对训练好的模型进行微调。本发明弥补目前深度神经网络模型在时间维度上卷积而造成信息丢失的一种情况，强化在时间维度上的特征的表达，整体提高模型的识别效率，使模型能够更好的理解人体的行为动作。