本发明为基于机器学习的手写文档检索方法，包括步骤：对索引文字图片进行SIFT的特征提取，对整个图片进行关键点提取，用描述子表示图片的特征；对每一当前页文档图片进行SIFT的特征提取，利用描述子表示关键点；对提取到的描述子做匹配，选出与索引文字图片的描述子最接近的候选框中的文字，将候选框选出的区域作为候选集，然后利用卷积神经网络对候选集和索引文字图片做进一步的特征匹配；在检索完当前页文档图片之后，读入下一页文档图片进行检测，直至检测完整份文档所有页，输出标识了索引文字的文档。本发明不需要对原始文档图片做预处理，直接利用索引文字图片来检索手写文档中对应的文字，免去了分割预处理中引入的误差。