本发明公开了一种基于平行光轴结构摄像机的无穷远图像对齐方法，包括如下步骤，Ｓ１设定垂直于摄像机光轴方向的平面，从该平面上均匀选取匹配点，Ｓ２利用匹配点，求解描述基于该平面关系的单应矩阵，Ｓ３利用单应矩阵和双线性插值算法，求解基于该平面对齐的坐标映射表，Ｓ４设置一个垂直于摄像机光轴方向的等效无穷远的平面，计算无穷远平面上对应点的视差，平移坐标映射表，转换为基于无穷远平面对齐的坐标映射表。本发明的优势在于不需要通过摄像机的标定获得摄像机的内参矩阵和旋转矩阵，就能实现两张图像的公共区域在无穷远平面的对齐。