本发明公开了一种基于计算机视觉的建筑工人劳动状态分析系统及方法，通过计算机建立现场的不同劳动工种的动作训练库，体感摄像头采集工人的劳动区域内的场景信息，并经信号传输线传送至计算机，计算机采用动态时间规整算法及GestureBuilder分别对体感设备提供的人体骨骼图进行单人或多人的劳动动作识别；在识别出劳动动作的同时记录该工人的劳动工作时间，以及记录工人间断工作的时间等信息，智能监控模块显示信息，计算机对工人的劳动状态进行识别。