本发明公开了一种基于迁移学习的动态手势识别虚拟交互系统，包括动态手势获取模块、识别及控制模块和虚拟交互系统控制模块，所述动态手势获取模块用于提取手部特征和采集动态手势轨迹；所述识别及控制模块用于识别和分类动态手势轨迹，根据分类结果生成对应的控制信号并通过RPC发送至虚拟交互系统控制模块；所述虚拟交互系统控制模块用于接收并处理控制信号，进行多模态交互。本发明使用基于迁移学习训练的深度神经网络，能够对数字和英文字母进行识别，在降低了训练样本数量的同时将识别准确率提升，在识别到结果之后，虚拟人会通过肢体动作，语音以及面部表情实时得对用户进行反馈。