本发明提供了一种基于移动跟踪的三维手势识别方法，它允许操作者移动手势的同时保持机器人末端与移动手势的位姿相对不变性。包括步骤：(1)建立跟踪模型；(2)跟踪模型求解；(3)驱动机器人。本发明使用了非接触式的基于视觉人机接口，它可以获取操作者手部的位置和姿态，实时驱动机器人来跟踪识别操作者的移动手势。