近年，以卷积神经网络为代表的深度学习模型在很多计算机视觉任务中都取得了相当大的成功，如目标检测、图像分类、语义分割等等。然而，大部分深度学习模型对于数据和标注的需求是海量的，在一些特殊的领域应用，可能存在一定的“水土不服”，如医疗、工业。这些领域由于其特殊性，无法提供海量的精准标注数据，以支持深度学习模型的训练。因此，研究者们提出了一些机制（小样本学习、注意力机制）或者独特网络结构，以解决在少量样本下，特征无法有效表征的问题。

因此，本文以此问题为导向，从研究者们针对这个问题的解决方法来对近期的一些文章做搜索的展示。【不间断更新】

 

【1】An Efficient CNN Model Based on Object-level Attention Mechanism for Casting Defects Detection on Radiography Images

（基于目标级注意力机制的高效CNN模型及其在射线图像中的铸件缺陷检测应用）

DOI：10.1109/TIE.2019.2962437

链接：https://www.researchgate.net/publication/338139233_An_Efficient_CNN_Model_Based_on_Object-level_Attention_Mechanism_for_Casting_Defects_Detection_on_Radiography_Images

铸件缺陷的自动检测是数字射线照相（DR）缺陷检测自动化的一项重要技术。传统上，在工业应用中，当复杂场景中检测目标较小、局部和细微时，传统的方法效率低下。同时，CNN的精确数据量（如CNN的卷积模型）有限。为了克服这些挑战，首次提出了一种有效的CNN模型，该模型只需训练图像级的标签，用于复杂工业场景中微小铸件缺陷的检测。在此基础上，提出了一种新的训练策略，在训练阶段对模型形成一种新的对象级注意机制，并利用双线性池来提高模型检测局部对比铸造缺陷的能力。此外，为了提高模型的可解释性，我们将类激活映射（CAM）扩展到适合双线性体系结构的双线性CAM（Bi-CAM），作为一种可视化技术来描述模型输出的原因。实验结果表明，所提出的模型在各个量化指标上都取得了优异的性能，适用于大多数实际应用。在复杂场景下，有效地实现了铸件缺陷的实时检测。

 

 

【2】Anomaly detection of defects on concrete structures with the convolutional autoencoder

（卷积自编码器在混凝土缺陷异常检测的应用），这是有关于正例学习的异常检测。

DOI：https://doi.org/10.1016/j.aei.2020.101105

链接：https://www.sciencedirect.com/science/article/pii/S1474034620300744

       为推动视觉检测系统对于基础设施的保障，本文说明了深度学习在实现混凝土缺陷异常检测的应用。卷积自编码器以无缺陷图像为训练数据重建输入图像，以重建的思路有效可靠地检测异常缺陷。训练过程不需要任何标注信息，因此可以节省大量标注数据的时间。重建模型以最小化无缺陷图像的重建误差为训练目标。因此，对于缺陷图像，重建误差大的位置即为缺陷区域。评估结果显示本文提出的异常检测方法针对不同尺度的缺陷，具有较高的鲁棒性和适应性。与其他经典模型的分割结果相比较，揭示了本文的异常结果图在精准度、召回率、F1分数和F2分数均优于其他分割方法。进一步，相比于二值分割结果，异常结果图是以异常分数的形式表现，可以认为是一个对混合物缺陷的风险提示。

 

【3】Deep-Learning-Based Small Surface Defect Detection via an Exaggerated Local Variation-Based Generative Adversarial Network

（结合基于伪局部变分的生成对抗网络在表面微小缺陷检测的应用）

DOI：https://doi.org/10.1109/TII.2019.2945403

链接：https://ieeexplore.ieee.org/document/8859390

       微小缺陷的表面检测在制造业中起着至关重要的作用，以至于引起了广泛的关注。现有的主要挑战是相对于大尺度的表面区域，缺陷的尺寸较小，并且缺陷样本较少。为了解决这个问题，本文提出了一种新的机器视觉方法来自动识别单个图像中可能出现的微小缺陷。首先，提出的伪（Exaggerated）缺陷方法以图像的变化作为正则化项，生成无缺陷图像和相应的伪缺陷版本。其次，提出了一种结合卷积神经网络（CNN）的生成对抗网络（GAN），通过生成的伪缺陷图像样本来保证微小表面缺陷检测的准确性。此外，利用伪变分图像的GAN技术，扩大了缺陷检测训练样本的有限数据集。为了评估我们提出的方法的性能，我们将本方法加入最新的模型中进行了比较实验。在不同类型表面图像样本上的实验结果表明，该方法可以显著提高现有方法的性能，同时达到99.2%的缺陷检测精度。

【4】Multiview Generative Adversarial Network and Its Application in Pearl Classification

（多视角生成对抗网络在珍珠分类的应用），这是利用GAN生成的图像，解决数据量少的问题。

DOI：https://doi.org/10.1109/TIE.2018.2885684

链接：https://ieeexplore.ieee.org/document/8575147

      本文关注于基于多视角珍珠图像的深度学习方法，在自动化珍珠分类的应用。 传统上，为了获得令人满意的分类结果，我们需要收集大量的带标签的珍珠图像，但这在工业上是昂贵的。 幸运的是，最近提出的生成对抗网络（GAN），以有效地扩展训练集，从而提高深度学习模型的性能。 因此，我们提出了一种多视图GAN（MV-GAN），以自动扩充有标签的多视图珍珠图像，然后将扩展后的数据集用于训练多流卷积神经网络（MS-CNN）。 实验表明，利用MV-GAN生成的图像确实可以显着降低基于MS-CNN的分类误差（相对而言高达26.71％），从而获得最先进的效果。 更有趣的是，它还可以帮助MS-CNN抵抗亮度干扰，从而实现更可靠的分类。

 

【5】Defect Image Sample Generation With GAN for Improving Defect Recognition

（基于GAN的缺陷图像简单生成及其用于改进缺陷识别），同样是利用GAN生成数据。

DOI：https://doi.org/10.1109/TASE.2020.2967415

链接：https://ieeexplore.ieee.org/document/9000806

      本文旨在改进基于深度学习的表面缺陷识别。由于实际生产线中缺陷图像的不足以及贴标签的高昂成本，就多样性和数量而言，难以获得足够的缺陷数据集。本文提出了一种新的表面缺陷生成对抗网络（SDGAN）的方法，该方法采用生成对抗网络（GANs），以使用来自工业现场的大量无缺陷图像生成缺陷图像。实验表明，由SDGAN生成的缺陷图像比由最新方法生成的缺陷图像具有更好的图像质量和多样性。 SDGAN用于扩展带有和不带有标签的换向器气缸表面缺陷图像数据集（分别称为CCSD-L和CCSD-NL数据集）。关于异常识别，对于CCSD-NL缺陷数据集，获得了1.77％的错误率和49.43％的相对改进（IMP）。关于缺陷分类，CCSD-L缺陷数据集的错误率达到0.74％，IMP达到57.47％。此外，在SDGAN增强后的图像上训练的缺陷分类对于不均匀和不良的光照条件也很可靠。

 

【6】Pixel-Wise Fabric Defect Detection by CNNs Without Labeled Training Data

（在不依赖标签的情况下，实现像素级的编织物缺陷检测），利用伪标签。

DOI：https://doi.org/10.1109/ACCESS.2020.3021189

链接：https://ieeexplore.ieee.org/document/9184894

      织物表面检验是织物质量控制的必要环节。然而，由于疵点种类繁多，织物纹理形态各异，以及应用对检测速度的要求，这项技术仍然是一项具有挑战性的任务。为此，本文提出了一种轻量级的深度学习模型来完成织物疵点的分割。模型的输入是织物图像，输出是二值图像。众所周知，深度学习模型通常需要大量的数据来更新参数。然而，作为一种异常现象，织物疵点是不可预测的，这使得我们无法收集大量的数据。与其他模型不同的是，该方法是一个有监督的网络，但不需要人工标记样本进行训练。设计了一个假样本发生器来模拟疵点图像，它只需要无疵点的织物图像。该模型用假样本训练，用真实样本验证。实验结果表明，用伪数据训练的模型对真实织物样本具有较高的分割精度。此外，针对织物图像中背景像素数与缺陷像素数不平衡的问题，提出了一种损失函数。通过对具有代表性的织物样本进行综合实验，验证了该方法的分割精度和检测速度。

     

【7】基于深度学习的表面缺陷检测方法综述

一篇中文相关方向的综述，包含了一些少样本和以不同监督的方法解决表面缺陷检测的一些问题。

同时收集了现有公开数据集的一些特点和信息。

链接：https://kns.cnki.net/kcms/detail/11.2109.TP.20200402.1101.002.html?uid=WEEvREcwSlJHSldSdmVqMDh6a1dqeXpoRkw5T1ZySzNyamdsbDhBM3pjcz0%3D%249A4hF_YAuvQ5obgVAqNKPCYcEjKensW4IQMovwHtwkF4VYPoHbKxJw!!

       近年来,基于深度学习的表面缺陷检测技术广泛应用在各种工业场景中.本文对近年来基于深度学习的表面缺陷检测方法进行了梳理,根据数据标签的不同将其分为全监督学习模型方法、无监督学习模型方法和其他方法三大类,并对各种典型方法进一步细分归类和对比分析,总结了每种方法的优缺点和应用场景.本文探讨了表面缺陷检测中三个关键问题,介绍了工业表面缺陷常用数据集.最后,对表面缺陷检测的未来发展趋势进行了展望.