本发明提供了一种基于视频的捏合指尖跟踪方法，其特征在于：首先采用ＹＣｂＣｒ肤色检测器、拳头检测器和捏合指尖级联分类器构成多成分相关检测器，定位捏合指尖的位置；然后提取肤色目标搜索区域，获取轮廓并采样轮廓点，通过前后帧匹配确定肤色目标搜索区域的运动距离；之后将捏合指尖区域映射到捏合指尖肤色映射表中，结合灰度值得到ＣｂＣｒ?Ｇｒａｙ颜色特征，并计算ＨＯＧ特征，从而得到ＣｂＣｒ?Ｇｒａｙ?ＨＯＧ特征；最后，采用基于高斯核函数的滤波跟踪方法定位确定当前处理视频帧图的捏合指尖区域中心点。该方法应用于空中书写系统中，可准确识别捏合指尖运动轨迹，从而使捏合指尖空中书写系统得以实现。