我中心康复工程创新团队在《应用软计算(Applied Soft Computing)》发表高水平论文
近期,我中心博士研究生在计算机科学领域的国际顶级期刊《应用软计算(Applied Soft Computing)》(SCI1区,IF=6.725)上以第一作者发表论文“一种带噪声标签的联合端到端训练框架(An Joint End-to-end Framework for Learning with Noisy Labels)”。
目前深度神经网络(Deep Neural Network, DNN)在计算机视觉领域取得了巨大的成功,其中部分原因在于具有准确标注的大规模数据集。然而众所周知,收集此类数据集既昂贵又耗时,主要原因在于通过互联网等途径收集到的数据集往往含有大量噪声,需要花费大量时间进行人工检查。而目前的研究发现传统深度神经网络训练方法在含噪声标签数据集上往往表现较差,存在极易过拟合噪声数据、泛化性能差和测试精度低等问题。另一方面,现在普遍用于阻止深度神经网络过拟合的正则化技术如随机丢弃等,面对噪声数据的表现往往差强人意,因此如何在含噪声数据的数据集上训练深度神经网络已成为工业界和学术界在图像分类领域竞相研究的热点问题。而噪声标签修正(Label Correction)的方法是其中最主要的方法之一。但当数据集类别较多时,标签修正的过程会停止甚至朝着错误方向进行,这是噪声标签修正方法普遍存在的问题。因此,针对该问题,本文开创性地提出了一种新的标签修正框架ECMB (End-to-end Correction with Mix-up and Balance terms)。本文通过实验发现,使用鲁棒性较好的损失函数预训练的DNN网络往往在后续标签修正中具有更好的表现,能够更准确的修正噪声标签。其次本文提出了一个新的正则项,其使得DNN面对类别数较多的噪声数据集仍可进行标签修正。此外,本文利用每个样本的损失值在后向传播中产生的梯度对标签进行端到端的修正,使得标签修正的方向可控。通过将ECMB应用在各类噪声数据集中进行实验,说明了本方法的优势。同时本文提出的ECMB能够被嵌入任何现有的噪声学习方法中,实验结果表明嵌入后的方法测试性能比原方法有明显提高。该研究工作具有很重要的理论意义与广泛应用价值。
论文链接:
https://doi.org/10.1016/j.asoc.2021.107426