技术标签： 算法 python 机器学习 人工智能 Datawhale-集成学习笔记
在集成学习中，主要的分支就只有两块。其中一个是bagging算法，另外一个是boosting算法。在bagging的学习中，我们可以得知bagging主要是针对数据集进行操作，进行随机的采样。同时我们也论证过，bagging只影响了结果的方差，通过减小方差来得出更好的结果。但是，bagging并没有影响的结果的期望，也就是说bagging并没有减小结果的偏差。
Boosting则是一种截然不同的思想。Boosting的训练中使用的是同一个训练集。通过对这个训练集反复训练以得到一系列的简单模型，并通过一种策略对这些模型进行整合，构建一个更加强大的训练模型。很显然，Boosting提升的是模型本身的性能，表现在结果上也就是减小的是模型的偏差。
我们可以总结一下bagging和boosting的区别：
所以对于Boosting算法来说，我们需要关注的只有两个点:
针对上述的两个问题：
Adaboost是这样解决的：提高在上一轮中被弱分类器错误分类的样本的权值，减小被正确分类样本的权值。这样被错误分类的样本在下一轮的训练中就会受到更高的关注。而对于弱分类器的组合，则使用的是加权的投票表决方法，让错误率低的模型在表决中更加具备话语权。
Adaboost算法的步骤：(为了方便说明，假设是一个二分类任务)
输入：训练数据集 T = ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x 3 , y 3 ) , . . . , ( x N , y N ) T={(x_1, y_1),(x_2,y_2),(x_3,y_3),...,(x_N,y_N)} T=(x1,y1),(x2,y2),(x3,y3),...,(xN,yN)，其中 x i ∈ X ⊆ R n x_i \in \mathcal{X}\subseteq \mathbf{R}^{n} xi∈X⊆Rn， y i ∈ Y = − 1 , + 1 y_i \in \mathcal{Y} = {-1, +1} yi∈Y=−1,+1，弱学习方法
输出：最终的分类器G(x)。
初始化训练数据的权值分布
D 1 = ( w 11 , w 12 , w 13 , . . . , w 1 i , . . . w 1 N ) w 1 i = 1 N i = 1 , 2 , 3 , . . . N D_1=(w_{11},w_{12},w_{13},...,w_{1i},...w_{1N})\quad\quad w_{1i}={1\over N}\quad\quad i=1,2,3,...N D1=(w11,w12,w13,...,w1i,...w1N)w1i=N1i=1,2,3,...N
对于M个epoch来说， m = 1 , 2 , . . . , M m=1,2,...,M m=1,2,...,M
使用具有权值分布 D m D_m Dm的训练集学习得到基本分类器 G m : X − > − 1 , + 1 G_m: \mathcal{X} -> {-1, +1} Gm:X−>−1,+1
计算 G m ( x ) G_m(x) Gm(x)在训练数据集上的分类误差率
e m = ∑ i = 1 N P ( G m ( x i ) ≠ y i ) = ∑ i = 1 N w m i I ( G m ( x i ) ≠ y i ) e_m=\sum_{i=1}^NP(G_m(x_i) \neq y_i)=\sum_{i=1}^Nw_{mi}I(G_m(x_i)\neq y_i) em=i=1∑NP(Gm(xi)=yi)=i=1∑NwmiI(Gm(xi)=yi)
计算 G m ( x ) G_m(x) Gm(x)的系数
α m = 1 2 log 1 − e m e m \alpha_m={1\over2}\log{
{1-e_m}\over{e_m}} αm=21logem1−em
更新训练数据集的权值分布：
D m + 1 = ( w m + 1 , 1 , ⋯ , w m + 1 , i , ⋯ , w m + 1 , N ) D_{m+1}=\left(w_{m+1,1}, \cdots, w_{m+1, i}, \cdots, w_{m+1, N}\right) Dm+1=(wm+1,1,⋯,wm+1,i,⋯,wm+1,N)
w m + 1 , i = w m i Z m exp ( − α m y i G m ( x i ) ) , i = 1 , 2 , ⋯ , N w_{m+1, i}={ {w_{m i}}\over{Z_{m}}} \exp \left(-\alpha_{m} y_{i} G_{m}\left(x_{i}\right)\right), \quad i=1,2, \cdots, N wm+1,i=Zmwmiexp(−αmyiGm(xi)),i=1,2,⋯,N
在这里 Z m Z_m Zm是规范化因子：
Z m = ∑ i = 1 N w m i exp ( − α m y i G m ( x i ) ) Z_m=\sum_{i=1}^Nw_{mi}\exp(-\alpha_my_iG_m(xi)) Zm=i=1∑Nwmiexp(−αmyiGm(xi))
它可以使 D m + 1 D_{m+1} Dm+1成为概率分布。
构建基本分类器的线性模型。
f ( x ) = ∑ m = 1 M α m G m ( x ) f(x)=\sum_{m=1}^M\alpha_mG_m(x) f(x)=m=1∑MαmGm(x)
因为是二分类模型,所以我们可以使用符号函数来获取最终的结果：
G ( x ) = s i g n ( f ( x ) ) G(x)=sign(f(x)) G(x)=sign(f(x))
我们可以对上述的过程做一些说明：
什么是分类误差率？原本在等权值的数据集中，我们计算误差率应该是错误的样本数量除以总样本的数量。但是，在不等权重的样本集中，不可以直接这样计算。可以转化一下理解的方式，我们在初始化样本权重的时候，使用的是全部为等值 1 N 1\over N N1。所以可以这样理解，错误率就是错误样本权重的和。
这个结论也可以引申到不等权重的样本集中。所以我们记错误率为：
e m = ∑ G ( x i ) ≠ y i N w m i e_m = \sum_{G(x_i) \neq y_i}^N w_{mi} em=G(xi)=yi∑Nwmi
关于子模型权重的理解：
α m = 1 2 log 1 − e m e m \alpha_m={1\over2}\log{
{1-e_m}\over e_m} αm=21logem1−em
当 e m ≤ 1 2 e_m \leq {1 \over 2} em≤21时， α ≥ 0 \alpha \geq 0 α≥0。在这里我们应该是可以保证 e m ≤ 1 2 e_m \leq {1 \over 2} em≤21的，因为即便是没有训练过的随机分类模型也应该会有50%的准确率。且根据弱可学习的概念，我们学习到的模型原本就应当准确率大于50%。
根据对数函数的特性，当 e m e_m em减小的时候 1 − e m e m {1-e_m} \over e_m em1−em会增加，模型的权重 α m \alpha _m αm也会增加。
我们可以知道， α m \alpha _m αm的和并不为1。但是，我们认为最终结果 G ( x ) G(x) G(x)的数值对结果并无影响，我们关注的只是最终输出的符号。可以认为 ∣ G ( x ) ∣ |G(x)| ∣G(x)∣的大小为结果的确信度。
对样本集权重更新的理解：
使用以e为低的指数，在指数部分上为 − α m y i G m ( x i ) - \alpha _my_iG_m(x_i) −αmyiGm(xi)。当预测正确时，指数部分为负数。当预测错误的时候，指数部分为正数。因为指数函数的特性，预测正确时，权重会乘以一个小于1大于0的数，预测失败时，会乘以一个权重大于1的数。保证预测正确的时候，权重减小，预测失败时权重增加。
最终 Z m Z_m Zm的功能是为了保证最终的权重和为1.
文章浏览阅读1.3w次，点赞5次，收藏11次。 做地图社交类APP开发的都知道,一般情况下,为了整体的美观和用户体验度,我们需要定制化Marker的样式。本文中实现的方式都是基于高德地图的,百度地图也类似,大家可以照葫芦画瓢,废话不多说,先来看看最终效果:实现思路: 先来看看高德官方提供的设置Marker图标的方法:我们可以看到setIcon()方法,里面的参数BitmapDescriptor就是我们最终需要的东西。那..._高德地图 marker 自定义
文章浏览阅读4.4k次，点赞3次，收藏32次。白盒测试：白盒测试（White Box Testing）又称结构测试、透明盒测试、逻辑驱动测试或基于代码的测试。白盒测试只测试软件产品的内部结构和处理过程，而不测试软件产品的功能，用于纠正软件系统在描述、表示和规格上的错误，是进一步测试的前提。_白盒测试
文章浏览阅读1.8k次。---------------------- android培训、java培训、期待与您交流！ ----------------------本节继续研究包装类前面说过实现字符输入流的包装类时，我们可以借助Reader和FileInputStream进行读取文件。我们继续介绍ReaderReader、InputStreamReader、FileReader三者的关系，是继承的关系。Fil_test6–自定义字符输入流的包装类,通过这个包装类对底层字符输入流进行包装,让程
文章浏览阅读4.2k次。最近在学习文本挖掘，故而把书中关键的内容做个笔记，方便以后查阅。 信息检索是从大规模非结构化数据（通常是文本）的集合（通常保存在计算机上）中找出满足用户需求的资料的（通常是文档）的过程。按照所处理的数据的规模，信息检索可以分为三个级别： 第一个级别是以web搜索为代表的大规模级别； 第二个级别是小规模，可以看成是与第一种规模相对的另一极端情况；_布尔检索例子
文章浏览阅读1.7k次。转自https://blog.csdn.net/tiankong_/article/details/756761311.简介一个进程的虚拟地址空间主要由两个数据结构来描述。一个是最高层次的：mm_struct（定义在mm_types.h中），一个是较高层次的：vm_area_structs。最高层次的mm_struct结构描述了一个进程的整个虚拟地址空间。较高层次的结构vm_area_..._mm_struct *mm
文章浏览阅读2.3w次。瞎想-电信IPTV如何做到真高清真4K直播前几天看电信IPTV，发现高清足球大镜头的时候，基本看不清球员号码，有时候球员的头都比较模糊。 我真的比较纳闷，电信都开始100M宽带起步了，为什么连10M的高清频道都无法展现好呢？我觉得IPTV肯定遇到了什么带宽瓶颈，但是具体瓶颈在哪，我不好说，也说不好。突然有个想法，IPTV是否能够参考广电的架构，完成高质量的直播呢？ 甚至是4K直播。..._湖南电信iptv模糊
文章浏览阅读1.8w次，点赞21次，收藏80次。今天画板子遇见了一个间距报错，图片如下我当时想着，修改丝印的间距就可以了，查找了一些资料之后发现是这样修改并且我将其修改到了0但是结果还是如上图一样，报错。最后发现除此之外，我们还需要修改元件之间的电气距离修改完成之后就OK！..._ad中丝印间距规则怎么改
文章浏览阅读2.4k次，点赞3次，收藏17次。代码和预训练模型：https://github.com/microsoft/MeshTransformer摘要：文章提出MEsh TRansfOrmer（METRO）方法，用于从单个图像重建三维人体姿态和网格顶点。其中用到了注意力编码器来联合建模顶点-顶点和顶点-关节的交互，并同时输出三维关节坐标和网格顶点。介绍：复杂的关节运动和咬合带来了很多挑战。在这方面的工作分为两类①使用参数模型并学习预测形状和姿态系数（SMPL，用到了β和θ作为输入参数，其中β代表是个人体高矮胖瘦、头身比等比例的10个参数.
文章浏览阅读601次。srpg 胜利条件设定 介绍 (Introduction)The e-sports community has been growing rapidly in the past few years, and what used to be a casual pastime has morphed into an industry projected to generate $1.8 B in r..._first inhibitor
文章浏览阅读1.1k次。awk于1977年出生，今年36岁本命年，sed比awk大2-3岁，awk就像林妹妹，sed就是宝玉哥哥了。所以 林妹妹跳了个Topless，他的哥哥sed坐不住了，也一定要出来抖一抖。sed全名叫stream editor，流编辑器，用程序的方式来编辑文本，相当的hacker啊。sed基本上就是玩正则模式匹配，所以，玩sed的人，正则表达式一般都比较强。同样，本篇文章不会说sed的全部东西，你可_sed.exe移动匹配行
文章浏览阅读246次。输入流、输出流 笔记汇总_java进阶之路
文章浏览阅读183次。/********************************************************************** * BusyBox ifup udhcpc后台运行 * 说明： * 发现ifup会调用udhcpc，但是并不会切换到后台运行，解决一下。 * * ..._udhcpc 后台持续