本发明公开了一种基于深度图像的三维手势识别方法及交互系统，包括：使用深度传感器获取深度信息图；对获取的深度信息图利用CNN识别出AOI，切割出待识别的手部深度信息图；将从CNN中获得的手部深度信息图传入手势识别网络进行识别，获得识别出的手部关键节点三维坐标；将手部关键节点坐标进行坐标转换，以适应交互系统的世界坐标；利用Socket通讯，将变换坐标后的手部关键节点坐标序列传送到交互系统；交互系统获取手部关键节点信息，结合用户设定的语义判断条件，利用其物理引擎展示交互结果。本发明既可以优秀地识别出手部关节点的三维坐标，又可以判断手势语义动作，具有广泛的应用前景。