技术标签: nlp学习 深度学习 自然语言处理 bert 分类
文本分类是NLP中的最基础的一个任务,很多场景中都涉及到,比如对话机器人、搜索推荐、情绪识别、内容理解,企业风控,质量检测等方向。在对话机器人中,一般的文本分类任务主要是解决 用户query 的意图,确定相关domain.在确定的 domain中进行 NLU的语义理解,进而下游更多的任务。针对 内容理解 或者风控,质检方向都是针对于用户的query进行理解和意图识别,确定是否是涉黄涉爆,等非法的输入,进而进行控制,由于本人主要是做对话NLU 相关的,具体的其他的场景 不做过多叙述,主要分为以下两种情况:
多分类(Multi-Class)
1.二分类, 如邮件垃圾分类,0-1分类,只有两种情况,也可以使用于据识模型中
2.三分类,情感分类,【正面,中立,负面】,情绪识别
3.多分类,意图识别,domain领域识别,新闻类别识别,财经、体育、娱乐等
以上统称为多分类领域,每一个类别是独立的
多标签分类(Multi-Lable)
1.多领域类别,比如说,帮我打开导航、并播放一首歌曲、此时刻的domain 属于 musicX音乐 、mapU 导航领域
2.文本段落,可能即属于金融领域 也属于政治领域
多标签分类,主要的区别是 每一个类别不是独立的,每一个文本可以有多个标签
区别:
1.多分类任务中一条数据只有一个标签,但这个标签可能有多种类别。比如判定某个人的性别,只能归类为"男性"、"女性"其中一个。再比如判断一个文本的情感只能归类为"正面"、"中面"或者"负面"其中一个。
2.多标签分类任务中一条数据可能有多个标签,每个标签可能有两个或者多个类别(一般两个)。例如,一篇新闻可能同时归类为"娱乐"和"运动",也可能只属于"娱乐"或者其它类别。
文本分类主要是分为两种,一种是前几年兴起的 传统的机器学习方案,其次是近几年的深度学习模型(https://github.com/649453932/Chinese-Text-Classification-Pytorch)https://github.com/649453932/Chinese-Text-Classification-Pytorch
传统的机器学习模型(浅层学习模型)
1.以统计模型占主导,如朴素贝叶斯分类(NB), K近邻(KNN),支持向量机(SVM) 、以及树模型结构 XGBoost和LightGBM
上文提到的模型,与早期的基于规则的方法相比,该方法在准确性和稳定性方面具有明显的优势。但是,这些方法仍然需要进行功能设计,这既耗时又昂贵。此外,它们通常会忽略文本数据中的自然顺序结构或上下文信息,这使学习单词的语义信息变得困难
2.浅层学习模型,词袋子模型,tf-idf统计等
浅层学习模型,主要是忽略掉了文本的语法和语序,用特定的一些符号表示一个文本或者段落。
词袋子模型(BOW)用一组无序的单词序列来表达一段文字或者一个文档, 把整个文档集的所有出现的词都丢进袋子里面,然后 无序去重 地排出来(去掉重复的)。对每一个文档,按照词语出现的次数来表示文档
以下例子(来源于网络):
句子1:我/有/一个/苹果
句子2:我/明天/去/一个/地方
句子3:你/到/一个/地方
句子4:我/有/我/最爱的/你
统计所有的词语,放到一个袋子中,得到10个单词: “我,有,一个,苹果,明天,去,地方,你,到,最爱的“
得到4个句子的特征如下:
通过以上方案,亦能得到句子的浅层语义表达,可以进行基本的下游任务,如相似度计算,文本分类等任务
缺点就是:语义表达非常稀疏,容易造成维度灾难 只能表示词语本身 ,无法体现单词语义信息,以及单词之间的关系
TF-IDF模型:
主要是使用词汇统计的词频特征来 作为句子的语义表征,TF表示的(Term frequency,词频) IDF 表示的是(Inverse document frequency ) 逆文档频率 。
TF即词频(Term Frequency),每篇文档中关键词的频率(该文档单词/该文档单词总数),TF体现的是词语在文档内部的重要性,举个例子,有两篇文档 和,
d1 = (A,B,C,D,A),一共是5个单词,d2 = (B,E,A,B), 一共是4个单词。得到如下的TF计算结果:
IDF即逆文档频率(Inverse Document Frequency),文档总数/关键词t出现的文档数目,即 D代表文档的总体数目,分母部分 表示的是 包括该词语的文档数目,原始公式是分母没有 +1 的,这里是采用了拉普拉斯平滑,避免了有部分新的词没有在语料库中出现而导致分母为零的情况出现。IDF体现的是 词语在文档中的重要性,如果某个词语在 文档中出现的次数越少,表示的 idf 数值越大,越重要。得到如下的,IDF 数值:
d1 文档的向量化表示(最终的结果是 tf * idf):
后面再通过向量的余弦相似度计算,得到语义的相似度
深度学习模型时代(文本分类模型)
1.Fasttext 模型
论文:https://arxiv.org/abs/1607.01759
代码:https://github.com/facebookresearch/fastText
fastText是Facebook于2016年开源的一个词向量计算和文本分类工具,包含文本分类和词向量训练两个功能。把输入转化为词向量,取平均,再经过线性分类器得到类别。输入的词向量可以是预先训练好的,也可以随机初始化,跟着分类任务一起训练。最终的embedding 也是分类的产物。
上图为模型结构图,目前多数人也在使用 fastText模型,主要是由于:
1.模型本身比较简单,能快速的产生baseLine
2.采用char-level(字符级别)的 n-gram作为附加特征,这里举个例子,apple 这个单词,bigram 是:[ap,pp,pl,le] ,trigram结果是[app,ppl,ple],最终的模型输入,是把apple转化为embedding 和 bigram 、trigram也转成embedding , 最终拼接一起 作为输入。
2.TextCNN 模型
TextCNN是Yoon Kim小哥在2014年提出的模型,相关论文和仓库如下:
论文:https://arxiv.org/abs/1408.5882
代码:https://github.com/yoonkim/CNN_sentence
TextCNN 使用的是一维的卷积操作,图像中多数使用的是二维卷积.参考代码如下:
CNN网络结构不清楚的,可以看另一篇Blog,其中有详细的解释CNN网络结构。
大致的步骤如下:
1.输入query 经过embedding 得到,[batch_size,seq_len,embedding_dim]
2.设置卷积核的大小为 [filter_size * embedding_dim],filter_size一般为滑动窗口的大小(先不理解没关系),假设一共有N个卷积核,得到N个长度为,seq_len - filter_size + 1 大小的一维feature_map,比如句子长度为10,filter_size的长度为2,最终得到的feature_map的长度为10-2+1= 9
3. feature_map进行max-pooling 得到N个 1*1的数值,最终为N维向量,作为句子的表达,最终得到 [batch_size,N]的结果,如果 batch_size = 64, N = 256 ,那么最终得到的向量为[64,256]
4.最终结果 经过 全连接网络,线性变化,最后进行softmax分类
相关解释:
卷积核大小为2的时候,一次处理2-gram,也就是2个单词,卷积核大小为3-gram,一次处理三个大小的单词。 所以卷积核在对文本进行卷积的操作,更像是对在提取文本在n-gram上的特征。
取不同卷积核大小进行卷积操作的原因,可以理解为提取这个句子中多个维度不同的信息,使得特征更加的丰富。所以上文中使用了 不同filter_size 的 卷积层 进行 conv1,conv2,conv3来进行提取特征
这个其中有些需要注意的优化的点,可以参考以下博客(一个大神写的):
CNN模型主要是 基于上下文token的编码,然后pooling出句子再进行分类,池化时候,max-pooling表现效果最好,文本分类颗粒度比较高,只需要关注部分的关键词即可
3. Rnn+ Attention 模型
论文:https://www.aclweb.org/anthology/P16-2034.pdf
代码:https://github.com/649453932/Chinese-Text-Classification-Pytorch
RNN 模型现在主流的都是LSTM模型、GRU类型的,针对颗粒度比较细的语义表征,需要使用attention进行
H表示的是LSTM模型输出的 hidden信息,其中 w是context vector,随机初始化并随着训练更新。最后得到句子表示r ,再进行分类。
attention 的作用 主要是 寻找句子中,对句子含义最重要,贡献最大的词语找出来
4. Bert模型
不同的预训练模型,比如ELECTRA、RoBERT、WWM、ALBERT
除了 [CLS] 外还可以用 avg、max 池化做句表示,也可以各种组合起来
在领域数据上增量预训练,结合多任务的预训练
Boosting的思想,使用集成蒸馏,训多个大模型集成起来后蒸馏到一个,理论上会有一定的提升(涉及到知识蒸馏)
先用多任务训,再迁移到自己的任务
1.模型的选择问题
无脑使用Bert模型 但是,要是模型上线 还是需要考虑下模型的推理性能,使用模型的知识蒸馏,或者使用多个大模型的集成,再去蒸馏到一个小模型
2.样本类别不均衡问题
样本不均衡问题,对于Nlp任务来说,基本上都是老生常谈的问题,不管是在分类还是NER中经常会出现,针对这些问题的解决办法,网上也是一大堆,知乎博客,到处都是,这里只是做一个简单的整理吧。这里提一点,样本数量不均衡的本质,还是样本难易程度不一样,本质上还是一个 hard example的问题 。通常是两种方案,一个是样本数据上修改(重采样),另一个是train的时候 Loss部分的修改(重加权)
3.数据相关问题
4.分类的损失函数选择
由上图所示,对于多分类的任务,可以定义为,多个二分类,如N分类的任务,我们可以定义N个 sigmoid二分类。优点:
1.每个分类domain 单独维护不同的fc解码层,可以后续支持多意图的输出,解码空间相对于之前的softmax 扩大
2.新分类domain增加,维护成本较小,只需要更新 fc层就可以,减少对其他的domain的干扰
3.实际上,每一个domain的fc层,就是一个据识模型,后续可以修改训练策略,灵活的对定义的domain进行据识
文章浏览阅读1.9w次,点赞20次,收藏168次。敲了一下午终于把代码敲完了,留念。文章目录题目:三次样条插值程序1:Gauss列主元消去法程序2:三次样条插值程序3:主函数及输入数据题目:三次样条插值程序1:Gauss列主元消去法function [X] = Gauss_elimination(A, Y) %% 参数初始化 matrix = [A, Y]; [n,m] = size(matrix); % 矩阵大小 l = zeros(n,n); % 比例系数矩阵 X =_三次样条插值matlab
文章浏览阅读1.3k次,点赞3次,收藏5次。一、问题背景及解决方案问题1、Prometheus 本身只支持单机部署,没有自带支持集群部署,也就不支持高可用以及水平扩容,在大规模场景下,最让人关心的问题是它的存储空间也受限于单机磁盘容量,磁盘容量决定了单个 Prometheus 所能存储的数据量,数据量大小又取决于被采集服务的指标数量、服务数量、采集速率以及数据过期时间。在数据量大的情况下,我们可能就需要做很多取舍,比如丢弃不重要的指标、降低采集速率、设置较短的数据过期时间(默认只保留15天的数据,看不到比较久远的监控数据)。解决方案:①集中数据_thanos 查询慢
文章浏览阅读509次。在上一篇博客Python图像处理之图片文字识别(OCR)中我们介绍了在Python中如何利用Tesseract软件来识别图片中的英文与中文,本文将具体介绍如何在Python中利用Tesseract软件来识别验证码(数字加字母)。我们在网上浏览网页或注册账号时,会经常遇到验证码(CAPTCHA),如下图:本文将具体介绍如何利用Python的图像处理模块pillow和OCR模块pytesseract来..._python识别图片中的字母和数字
文章浏览阅读5.5k次。8051单片机指令系统有哪几种寻址方式?寄存器寻址、直接寻址、立即寻址、寄存器间接寻址、变址寻址、相对寻址、位寻址。寄存器寻址:以通用寄存器的内容为操作数的寻址方式。通用寄存器为A、B 、DPTR以及R0~R7 。例:CLR A ;A←0INC DPTR ;DPTR←DPTR+1 ADD R5,# 20H ;R5←#20H+R5。在8051单片机中,没有专门的通用硬件寄存器,而是把内部数据RAM区中0_8051寻址方式
文章浏览阅读216次。今天我们要讲的课题是Mentor过孔制做及PCB中过孔的加入,我们都知道,一个PCB不可能没有过孔,所以我们在布线前,我们要把过孔设置好。第一、下面我们用Mentor建立10/18的孔,打开Setup》Libraries》Padstack Editor 窗口,我们首先建立Pads,一定要注意单位的选择,下图的单位是mil.过孔做好的,我们直接保存下来,下面我们在mentor PCB中,加入过孔。利用上面做好的盘和孔,制做过孔,下面的是盖绿油的过孔。第二、建立过孔的孔径:选定单位,并调整孔符。_mentor 钻孔设置
文章浏览阅读1.8k次,点赞5次,收藏10次。在这个快节奏的时代,我们渴望更高效、便捷的生活。而智谱清言,正是这样一款能满足我们需求的生成式AI助手。它由北京智谱华章科技有限公司倾力打造,基于智谱AI自主研发的中英双语对话模型ChatGLM2,经过万亿字符的文本与代码预训练,并采用有监督微调技术,为用户提供智能化服务。下面,让我们一起探索智谱清言的五大功能特点,感受这款AI助手的魅力。_智普轻言
文章浏览阅读202次。2019独角兽企业重金招聘Python工程师标准>>> ..._ojdbc14-10.2.0.4.0.jar
文章浏览阅读424次。T0002/hq_cache/shex.tnfT0002/hq_cache/szex.tnf这个解码就是。/***************************************************股票代码列表和股票名称T0002/hq_cache/shex.tnfT0002/hq_cache/szex.tnf**************************************..._pytdx 查看指数
文章浏览阅读173次。想不想一夜暴富?拥有很多很多钱,买很多很多房,工作也不忙,无压力,不用亲自Coding和Debug,还有大把大把的时间在CSDN上挥霍… 如果真有此想法,那么想想就可以了。本博客/视频不会提供实现上述理想的方法,一点点边都不沾。本系列文章和视频重在为初学者指点迷津(大佬请绕行),让您,尽快地成为行业的大牛,薪资翻个好几。_armv8从入门到精通
文章浏览阅读9.6k次,点赞21次,收藏175次。图1 随机算法在邻近数据集上的概率差分隐私有两个重要的优点:差分隐私假设攻击者能够获得除目标记录以外的所有其他记录信息,这些信息的总和可以理解为攻击者能够掌握的最大背景知识,在这个强大的假设下,差分隐私保护无需考虑攻击者所拥有的任何可能的背景知识。差分隐私建立在严格的数学定义上,提供了可量化评估的方法。因此差分隐私保护技术是一种公认的较为严格和健壮的隐私保护机制。_差分隐私
文章浏览阅读744次。以一个很简单的 Web 应用来说明使用 MyEclipse 的 Web 服务器配置,应用部署和调试过程。 一、准备开发工具 这里使用 Eclipse 3.1.2 和 MyEclipse4.1.1 ,当然 Java 通常都是用来开发网络应用的,那么 Web 服务器也就少不了了,这里使用tomcat5.0版本,当然如果你没有 J2SDK 那么所有的程序都没法编_应用myeclipse开发工具创建第一个jsp项目在页面输出1~100的偶数和步数运行后
文章浏览阅读1k次。python学习之——字典的遍历1.例如:建立如下保存五个人,各自喜欢的编程语言的一个字典,我们要遍历这个字典中的每个键值对:favorite_languages={ 'jen':'python', 'sarah':'c', 'edward':'ruby', 'phil':'python', }#使用items()返回字典中每个键-值对 for name_请编程将以下内容创建为字典nc,并分别遍历并输出nc的键、nc的元素、nc的值