本发明公开了一种联合优化深层变换特征与聚类过程的声场景聚类方法，步骤如下：a、提取各样本的对数梅尔谱特征并作为一个初始类，初始化一个卷积神经网络；b、将各样本的对数梅尔谱特征输入卷积神经网络，提取深层变换特征；c、采用凝聚分层聚类算法合并最相似的两个类，得到新的类标签及样本并用于更新卷积神经网络，类数减一，再采用更新后的卷积神经网络将各样本的对数梅尔谱特征变换为深层变换特征；d、如果当前类数等于真实类数，则停止聚类，得到联合优化的声场景聚类结果和卷积神经网络，否则跳到第c步。本方法的深层变换特征提取与聚类交替进行，得到联合优化结果，与传统聚类方法相比性能更优；与传统分类方法相比更具普适性。