本发明公开了一种基于卷积神经网络的遥感图像全色锐化方法，包括以下步骤：读取原始多光谱遥感图像及其匹配的全色遥感图像对图像数据进行预处理，获取训练样本；构造卷积神经网络结构；将训练样本输入卷积神经网络，利用随机梯度下降算法，使得损失函数稳定在最小值，从而得到该网络结构的最优解；将经过相同预处理的测试样本输入至最优卷积神经网络结构中，输出处理得到高分辨率的多光谱遥感图像。本发明能有效地减少处理结果的光谱失真，并增强了其锐化效果。