本发明公开了一种基于区域卷积神经网络的第一视角手势识别与交互方法，该方法包括如下步骤：S1、获取训练数据；S2、设计一个基于区域神经网络，在用于手部检测的同时，也用于手势分类与指尖检测，使得神经网络输入为三通道RGB图像，输出为手势区域的外接矩阵左上角坐标和右下角坐标，以及手势类别、手势骨架关键点；S3，判断手势类别，根据不同交互需求输出相应的交互结果。本发明提供了一种完整的第一视角手势识别与交互方法，通过单模型训练与部分网络共享，提高了第一视角下手势识别的识别速度与准确性。