本发明提供一种基于双向光流和感知哈希的指尖跟踪方法，该方法包括：第一步，通过计算与场景信息对应的稠密光流信息；再构建肤色滤波器得到手部区域；第二步，对各轮廓点进行向量点积和叉乘计算来剔除非指尖的轮廓点；再根据指尖的几何特性来检测指尖点的位置并得到指尖轮廓点；第三步，利用双向金字塔光流算法对指尖轮廓点计算，得到双向匹配的指尖轮廓点来对指尖运动区域进行估计；采用感知哈希算法生成６４位感知哈希序列，与指尖哈希序列模板匹配，最大匹配区域为指尖区域；判断是否进行下一轮的指尖跟踪，实现指尖持续跟踪。本发明方法可有效实现在复杂环境下指尖的持续性跟踪，同时避免了因指尖跟踪轨迹不连续导致指尖跟踪效果差的问题。