线性回归问题就是利用一个线性的方程对已有的数据点进行拟合，目的是当拟合成功后，给你一个新的数据可以利用该线性方程得到较为准确的预测；
假设，我们现在又数据集 X = { x 1 , x 2 , . . . . . . , x m } X=\{x^{1}, x^{2},......,x^{m}\} X={ x1,x2,......,xm}，且其中的每一个数据 x i = ( x 1 i , x 2 i , . . . . . . x n i ) x^{i}=(x^{i}_1,x^{i}_2,......x^{i}_n) xi=(x1i,x2i,......xni)是 n n n维向量（即包含了 n n n个特征，比如身高、体重、视力等）。对应的标签 Y = { y 1 , y 2 , . . . . . . y m } Y=\{y^1,y^2,......y^m\} Y={ y1,y2,......ym}。
现在，我们有一个线性方程
h θ ( x i ) = θ 0 + θ 1 x 1 i + θ 2 x 2 i + . . . . . . + θ n x n i = Θ T x i ^ (1) h_{\theta}(x^i)=\theta_0+\theta_1 x^i_1 + \theta_2 x^i_2+......+\theta_n x^i_n=\Theta^T \hat{x^i}\tag{1} hθ(xi)=θ0+θ1x1i+θ2x2i+......+θnxni=ΘTxi^(1)
其中 x i ^ : = ( 1 , x 1 i , x 2 i , . . . . . . x n i ) \hat{x^i}:=(1,x^{i}_1,x^{i}_2,......x^{i}_n) xi^:=(1,x1i,x2i,......xni)，在后面我们直接用 x i x^i xi表示；
假如每次输入一个 x i x^i xi都能得到一个与 y i y^i yi非常接近的值，则此线性方程是拟合成功的。
我们假设预测值与准确值之间有误差 ε \varepsilon ε
y i = h θ ( x i ) + ε i (2) y^i=h_{\theta}(x^i)+\varepsilon^i\tag{2} yi=hθ(xi)+εi(2)
且，改误差服从高斯分布
ε ∼ N ( 0 , σ 2 ) (3) \varepsilon\sim N(0,\sigma^2)\tag{3} ε∼N(0,σ2)(3)
那么就有
p ( ε i ) = 1 2 π σ ⋅ exp ( − ( ε i ) 2 2 σ 2 ) (4) p(\varepsilon^i)=\frac{1}{\sqrt{2\pi}\sigma}\cdot\exp(-\frac{(\varepsilon^i)^2}{2\sigma^2})\tag{4} p(εi)=2πσ1⋅exp(−2σ2(εi)2)(4)
则似然函数为
L ( θ ∣ x ) = ∏ i = 1 m p ( ε i ) = ∏ i = 1 m p ( y i ∣ x i ; θ ) = ∏ i = 1 m 1 2 π σ ⋅ exp ( − ( y i − Θ T x i ) 2 2 σ 2 ) (5) L(\theta|x)=\prod_{i=1}^{m}p(\varepsilon^i)=\prod_{i=1}^{m}p(y^i|x^i;\theta)=\prod_{i=1}^{m} \frac{1}{\sqrt{2\pi}\sigma}\cdot\exp(-\frac{(y^i-\Theta^T x^i)^2}{2\sigma^2})\tag{5} L(θ∣x)=i=1∏mp(εi)=i=1∏mp(yi∣xi;θ)=i=1∏m2πσ1⋅exp(−2σ2(yi−ΘTxi)2)(5)
对数化
l ( θ ) = log L ( θ ∣ x ) = ∑ i = 1 m log p ( ε i ) = ∑ i = 1 m log ( 1 2 π σ ⋅ exp ( − ( y i − Θ T x i ) 2 2 σ 2 ) ) = m log 1 2 π σ − 1 2 σ 2 ∑ i = 1 m ( y i − Θ T x i ) 2 (6) l(\theta) = \log L(\theta|x) = \sum_{i=1}^{m}\log p(\varepsilon^i) = \sum_{i=1}^m\log(\frac{1}{\sqrt{2\pi}\sigma}\cdot\exp(-\frac{(y^i-\Theta^T x^i)^2}{2\sigma^2}))\\ =m\log\frac{1}{\sqrt{2\pi}\sigma}-\frac{1}{2\sigma^2}\sum_{i=1}^m(y^i-\Theta^T x^i)^2\tag{6} l(θ)=logL(θ∣x)=i=1∑mlogp(εi)=i=1∑mlog(2πσ1⋅exp(−2σ2(yi−ΘTxi)2))=mlog2πσ1−2σ21i=1∑m(yi−ΘTxi)2(6)
由极大似然估计可知，极大化 l ( θ ) l(\theta) l(θ)就是极小化 1 2 ∑ i = 1 m ( y i − Θ T x i ) 2 \frac{1}{2}\sum_{i=1}^m(y^i-\Theta^T x^i)^2 21∑i=1m(yi−ΘTxi)2
min θ J ( θ ) = 1 2 ∑ i = 1 m ( y i − h θ ( x i ) ) 2 \min_{\theta}J(\theta) = \frac{1}{2}\sum_{i=1}^m(y^i-h_{\theta}(x^i))^2 θminJ(θ)=21i=1∑m(yi−hθ(xi))2
对下式求导并令其为0
J ( θ ) = 1 2 ∑ i = 1 m ( y i − h θ ( x i ) ) 2 = 1 2 ( Y − X Θ ) T ( Y − X Θ ) J(\theta) = \frac{1}{2}\sum_{i=1}^m(y^i-h_{\theta}(x^i))^2 = \frac{1}{2}(Y-X\Theta)^T(Y-X\Theta) J(θ)=21i=1∑m(yi−hθ(xi))2=21(Y−XΘ)T(Y−XΘ)
▽ θ J ( θ ) = ▽ θ 1 2 ( ( Y T − Θ T X T ) ( Y − X Θ ) ) = ▽ θ 1 2 ( Y T Y − Y T X Θ − Θ T X T Y + Θ T X T X Θ ) = 1 2 ( − X T Y − X T Y + 2 X T X Θ ) = X T X Θ − X T Y \triangledown_{\theta}J(\theta) = \triangledown_{\theta}\frac{1}{2}((Y^T-\Theta^TX^T)(Y-X\Theta))\\ =\triangledown_{\theta}\frac{1}{2}(Y^TY-Y^TX\Theta-\Theta^TX^TY + \Theta^TX^TX\Theta)\\ =\frac{1}{2}(-X^TY-X^TY+2X^TX\Theta)\\ =X^TX\Theta-X^TY ▽θJ(θ)=▽θ21((YT−ΘTXT)(Y−XΘ))=▽θ21(YTY−YTXΘ−ΘTXTY+ΘTXTXΘ)=21(−XTY−XTY+2XTXΘ)=XTXΘ−XTY
最后求得
Θ = ( X T X ) − 1 X T Y \Theta = (X^TX)^{-1}X^TY Θ=(XTX)−1XTY
文章浏览阅读262次。转载：https://blog.csdn.net/ohmygirl/article/details/17849983上文( http://blog.csdn.net/ohmygirl/article/details/17846199 )中已经介绍了Fiddler的原理和软件界面。本文主要针对Fiddler的抓包处理。Fiddler抓取HTTP请求。抓包是Fiddler..._3)使用fiddler分析http请求
文章浏览阅读4.1k次，点赞6次，收藏55次。引言Ceres 是由Google开发的开源C++通用非线性优化库（项目主页），与g2o并列为目前视觉SLAM中应用最广泛的优化算法库（VINS-Mono中的大部分优化工作均基于Ceres完成）。Ceres中的有限边界最小二乘问题建模为以下形式：Ceres的求解过程包括构： 建最小二乘和求解最小二乘问题 两部分，其中构建最小二乘问题的相关方法均包含在Ceres::Problem类中，涉及的成员函数主要包括 Problem::AddResidualBlock()和 Problem::AddP_对‘ceres::problem::addparameterblock(double*, int, ceres::localparameteriza
文章浏览阅读265次。摘 要本文分析了hello程序的整个运行生命周期。首先编写hello.c源程序，之后运行C预处理器对其进行预处理，得到hello.i文件，运行C编译器将翻译生成汇编语言文件hello.s，然后运行汇编器将其翻译成一个可重定位目标文件hello.o，最后运行链接器程序将hello.o和系统目标文件组合起来，就可以创建一个可执行目标文件hello。在shell接收到输入的./hello的指令后开始调用fork函数创建进程，execve加载hello进入内存，由CPU控制程序逻辑流的运行，中断，上下文切换和._郭仁恺
文章浏览阅读4.6k次。此处我们使用的是AES的基础加密模式，即：电码本模式 ECBJAVA代码如下： //创建AES加密实例 SecretKeySpec skeySpec = new SecretKeySpec(keyBytes, "AES"); Cipher cip = Cipher.getInstance("AES/ECB/NoPadding");//算法/模式/补码方式 cip.init(C_botan c++ aes java 互通
文章浏览阅读2.5k次，点赞5次，收藏17次。2018年3月，我与张老师就这么在微信上聊了起来，起初我并没有写书的打算，我们之间只是通过讨论、交流的形式聊聊关于出书的方方面面。最终，敌不过张老师超强的专业能力、细致的解说与盛情相邀，我答应张老师写一本Linux系统运维的图书并由人邮出版。由此，我踏上了漫漫2年多的写书之路。为什么写这本书写书一方面是我对自己所学知识的查漏补缺过程，另一方面也可以向即将进入或已经入行的Linux系统运维同..._linux系统运维指南:从入门到企业实战 pdf
文章浏览阅读2k次，点赞6次，收藏5次。tf.reduce_sum()函数深度解析从矩阵，数组，数据存储的角度 解析axis参数的意义_tf.reduce_sum
文章浏览阅读10w+次，点赞41次，收藏141次。 _rmse函数
文章浏览阅读370次。秋叶 PPT 双 12 大促年终盛典全场精品课享年度超值价买课赠书最高立省 801本文作者：小爽本文审核：玛奇鹅本文编辑：竺兰大家好，我是继续挖掘 Excel 各种技巧的小爽~在工作中，我们经常需要在 Excel 中填写一些固定选项的数据。对于「懂点 Excel」的小伙伴来说，一般会选择用【数据验证】的功能制作下拉列表。不过一旦数据选项过多，用下拉列表选择还是会显得比较麻烦，手还很累。..._isnumber(find(cell("contents")
文章浏览阅读888次。学习笔记|按键原理|消抖|按键点灯的4种模式|STC32G单片机视频开发教程（冲哥）|第七集：按键点灯_stm32定时器实现一个按键切换四个模式
文章浏览阅读1.2k次。VMware ESX 3.0已经发布了三年多时间，目前有很多用户希望升级到VMware最新的vSphere 4.0虚拟化平台，而大量运行ESX 3.0的服务器也到了需要更新换代的时刻。这些运行了三年ESX 3.0的老旧服务器虽然已经不能完全满足未来快速增长的负载需求，但还是具有不小的性能空间，将这一大批当时非常昂贵的服务器关闭弃之不用，确实显得有些浪费。为了不将老旧的虚拟化主机丢弃在角落，很多企业..._旧服务器虚拟化
文章浏览阅读132次。JS中字符串和数组的常用方法JS中字符串和数组的常用方法 js中字符串常用方法 查找字符串 根据索引值查找字符串的值 根据字符值查找索引值 截取字符串的方法 字符串替换 字符串的遍历查找 字符串转化为数组 ..._js根据索引查找字符串
文章浏览阅读2k次，点赞2次，收藏9次。系列文章目录hadoop大数据-HDFS分布式文件系统hadoop大数据-HDFS分布式文件系统系列文章目录一、hadoop简介二、Hadoop的搭建2.1本地独立模式2.1伪分布式模式的搭建完成分布式的搭建完全分布式的环境搭建完全分布式的配置hadoop结点扩容四、HDFS工作原理一、hadoop简介大数据主要两个点：分布式存储以及分布式计算，基本上计算的调度跟着存储走，因为迁移存储的成本高于计算大数据是个生态，本次学习Hadoop的HDFS分布式文件系统MapReduce离线计算GF_hdfs实现高可用文件存储