本发明公开了一种基于听觉匹配的虚拟声定制方法及装置。本发明的方法包括：从用户头部3D模型中提取HRTF相关的生理特征值；输入听觉评估神经网络，预测听觉分数；从已知HRTF数据库中挑选出最高听觉分数所对应的HRTF数据，作为用户听觉匹配的HRTF数据；将原始单通路信号、听觉匹配HRTF数据、房间脉冲响应依次进行时间域卷积处理或等价地频率域滤波处理，得到用户定制的双耳虚拟声信号。本发明利用现有移动终端的3D传感装置，涵盖了HRTF相关的生理特征量；同时，直接建立生理特征值和主观听感的非线性关系，提高了HRTF匹配以及虚拟声定制的精度，有助于降低虚拟声重放设备的定位误差、提高用户沉浸感。