本发明提供一种基于视觉手势的点读方法和装置，方法包括：用户通过手指在书本上需点读区域画圈；摄像头捕捉手指画圈动作，图像处理模块根据轮廓分析算法获取指尖位置且得出轨迹上下左右四个方向边缘端点，根据上下左右四个端点拟合成矩形，从而对矩形区域内容进行文字或图形等内容识别；而后进行语音合成技术并将语音信息反馈给用户实现点读功能。所述装置可戴在用户头上，包括一个摄像头，安装在装置两边的骨传导耳机。该装置结合了先进的可穿戴理念，使用户在学习的时候摆脱了手持电子设备的束缚，可基于现实的普通书本获得智能点读的学习指导。