深度学习 第1讲：深度学习简介和感知机原理与实现_python 单层感知机 深度学习-程序员宅基地
而对于阅读深度学习系列文章的广大数据爱好者而言，小编希望大家能有一些机器学习基础，而且小编不会去刻意用很多通俗的语言去描述数学和计算机科学相关的术语和概念，当然小编也会尽力把主要的知识点说的够敞亮，希望大家理解。那么闲话少说，我们正式开启深度学习的学习之旅~
1
机器学习与深度学习
要是说到深度学习，恐怕不得不先提一下机器学习，解释好二者之间的关系。相信大家心中应该有自己对于机器学习概念的理解。小编这里就一句话简单概括一下：机器学习就是从历史数据中探索和训练出数据的普遍规律，将其归纳为相应的数学模型，并对未知的数据进行预测的过程。至于在这个过程中我们碰到的各种各样的问题，比如数据质量、模型评价标准、训练优化方法、过拟合等一系列关乎机器学习模型生死的问题，小编就不展开来说了，自己去补机器学习知识哈。
在机器学习中，我们有很多很多已经相当成熟了的模型和算法。（这里厘一下模型和算法的概念，小编认为，通常我们所说的像SVM之类的所谓机器学习十大算法其实不应该称之为算法，更应该称其为模型，机器学习的算法应该是在给定模型和训练策略的情况下采取的优化算法，比如梯度下降、牛顿法之类。当然，一般情况下将模型和算法混合称呼也不碍事，毕竟模型中本身就包含着计算规则的意思。）在这很多种机器学习模型中，有一种很厉害的模型，那就是人工神经网络。这种模型从早期的感知机发展而来，对任何函数都有较好的拟合性，但自上个世纪90年代一直到2012年深度学习集中爆发前夕，神经网络受制于计算资源的限制和较差的可解释性，一直处于发展的低谷阶段。之后大数据兴起，计算资源也迅速跟上，加之2012年ImageNet竞赛冠军采用的AlexNet卷积神经网络一举将图片预测的 top5 错误率降至16.4%，震惊了当时的学界和业界。从此之后，原本处于研究边缘状态的神经网络又迅速热了起来，深度学习也逐渐占据了计算机视觉的主导地位。
扯了这么多，无非就是想让大家知道，以神经网络为核心的深度学习理论是机器学习的一个领域分支，所以深度学习其本质上也必须是遵循一些机器学习的基本要义和法则的。传统的机器学习中，我们需要训练的是结构化的数值数据，比如说预测销售量、预测某人是否按时还款等等。但在深度学习中，我们的训练输入就不大是常规的数据了，它可能是一张图像、一段语言、一段对话语料或是一段视频。深度学习要做的就是我丢一张猫的图片到神经网络里，它的输出是猫或者cat这样的标签，丢进去一段语音，它输出的是你好这样的文本。所以机器学习/深度学习的核心任务就是找（训练）一个模型，它能够将我们的输入转化为正确的输出。
（图片来自台湾大学李宏毅教授的deep learning tutorial ppt）
2
感知机与神经网络
就像上面那幅图展示的一样，深度学习看起来就像是一个黑箱子，给定输入之后就出来预测结果，中间的细节很难搞清楚。在实际生产环境下，调用像 tensorflow 这样优秀的深度学习计算框架能够帮助我们快速搭建起一个深度学习项目，但在学习深度学习的过程中，小编并不建议大家一开始就上手各种深度学习框架，希望大家能和小编一道，在把基本的原理搞明白之后利用 python 或者 R 自己手动去编写模型和实现算法细节。
所以，为了学习各种结构的神经网络，我们需要从头开始。感知机作为神经网络和支持向量机的理论基础，相信任何有机器学习基础的同学都清楚其模型细节。简单而言，感知机就是一个旨在建立一个线性超平面对线性可分的数据集进行分类的线性模型。其基本结构如下所示：
上图从左到右为感知机模型的计算执行方向，模型接受了X1、X2、X3三个输入，将输入与权值参数W进行加权求和并经过 sigmoid 函数进行激活，将激活结果作为 y 进行输出。这便是感知机执行前向计算的基本过程。这样就行了吗？当然不行。按照李航老师的统计学习三要素来打分，刚刚我们只解释了模型，对策略和算法并未解释。当我们执行完前向计算得到输出之后，模型需要根据你的输出和实际的输出按照损失函数计算当前损失，计算损失函数关于权值和偏置的梯度，然后根据梯度下降法更新权值和偏置。经过不断的迭代调整权值和偏置使得损失最小，这便是完整的单层感知机的训练过程。
输入为图像的感知机计算过程（图片来自吴恩达老师deeplearningai作业截图）
上述的单层感知机包含两层神经元，即输入与输出神经元，可以非常容易的实现逻辑与、或和非等线性可分情形，但终归而言，这样的一层感知机的学习能力是非常有限的，对于像异或这样的非线性情形，单层感知机就搞不定了。其学习过程会呈现一定程度的振荡，权值参数 w 难以稳定下来，最终不能求得合适的解。
单层感知机难以解决异或问题（截图于周志华老师的《机器学习》）
对于非线性可分的情况，在感知机基础上一般有了两个解决方向，一个就是著名的支持向量机模型，旨在通过核函数映射来处理非线性的情况，这里我们不多谈，读者朋友们可以去回顾复习机器学习中有关的内容，而另一种就是神经网络模型。这里的神经网络模型也叫多层感知机（MLP: Muti-Layer Perception），与单层的感知机在结构上的区别主要在于 MLP 多了若干隐藏层，这使得神经网络对非线性的情况拟合能力大大增强。
一个单隐层的人工神经网络的结构如下图所示：
可以看到相较于两层神经元的单层感知机，多层感知机中间多了一个隐藏层，称为隐藏层的含义在于神经网络的训练过程中我们只能观察到输入和输出层的数据，对于中间的隐藏层我们是看不见的，因而在深度神经网络（DNN）中，对于中间看不见又难以进行解释的隐藏层又有个黑箱子的称呼。
含隐藏层的神经网络是如何训练的呢？跟感知机一样，神经网络的训练依然是包含前向计算和反向传播两个主要过程。当然，单层感知机没有反向传播的概念，通常是直接建立损失函数对权值和偏置参数的梯度优化。前向计算过程这里不再细述，就是权值偏置与输入的线性加权和激活操作，在隐藏层上有个嵌套的过程。这里我们重点讲一下反向传播算法（Error BackPropagation，因而也叫误差逆传播），作为神经网络的训练算法，反向传播算法可谓是目前最成功的神经网络学习算法了。我们通常说的 BP 神经网络也就是指应用反向传播算法进行训练的神经网络模型。
那反向传播算法究竟是怎样个工作机制呢？前方高能，需要大家自己补习微积分知识。因为小编实在是没有不借助公式把反向传播讲清楚的能力。假设以一个两层（即单隐层）网络为例，也就是上图中的网络结构，小编带大家详细推导一下反向传播的基本过程。
我们假设输入层为 X ，输入层与隐藏层之间的权值和偏置分别为 W1 和 b1，线性加权计算结果为 Z1 = W1*X + b1，采用 sigmoid 激活函数，隐藏层是激活输出为 a1 = σ(Z1)。而隐藏层到输出层的权值和偏置分别为 W2 和 b2，线性加权计算结果为 Z2 = W2*a1+ b2，激活输出为 a2 = σ(Z2)。所以这个两层网络的前向计算过程为 X-Z1-a1-Z2-a2。
所以反向传播的直观理解就是将上述前向计算过程反过来，但必须是梯度计算的方向反过来，假设我们这里采用交叉熵损失函数：
反向传播是基于梯度下降策略的，主要是以目标参数的负梯度方向对参数进行更新，所以基于损失函数对前向计算过程中各个变量进行梯度计算就是非常必要的了。将前向计算过程反过来，那基于损失函数的梯度计算顺序就是 da2-dZ2-dW2-db2-da1-dZ1-dW1-db1。一大堆微分符号！聪明如你应该可以看到我们马上要进行一波链式求导操作。我们从输出 a2 开始进行反向推导。输出层激活输出为 a2，那首先计算损失函数L(y, a) 关于 a2 的微分 da2，影响输出 a2 的是谁呢？由前向传播可知 a2 是由 Z2 经激活函数激活计算而来的，所以计算损失函数关于 Z2 的导数 dZ2 必须经由 a2 进行复合函数求导，即微积分上常说的链式求导法则。然后继续往前推，影响 Z2 的又是哪些变量呢？由前向计算 Z2 = W2*a1+ b2 可知影响 Z2 的有 W2、a1 和 b2，继续按照链式求导法则进行求导即可。最终以交叉熵损失函数为代表的两层神经网络的反向传播向量化求导计算公式如下所示：
在有了梯度计算结果之后，我们便可根据权值更新公式对权值和偏置参数进行更新了，具体计算公式如下，其中 η 为学习率，是个超参数，需要我们在训练时手动指定，当然也可以对其进行调参取得最优超参数。
以上便是 BP 神经网络模型和算法的基本工作流程，简单而言就是前向计算得到输出，反向传播调整参数，最后以得到损失最小时的参数为最优学习参数。神经网络的基本总结流程如下图所示：
训练一个 BP 神经网络并非难事，我们有足够优秀的深度学习计算框架通过几行代码就可以搭建起一个全连接网络。但是为了学习和掌握神经网络的基本思维范式和锻炼实际的编码能力，希望大家能够利用 python 或者 R 在不调用任何算法包的情况下根据算法原理手动实现一遍神经网络模型。最后以一个神经网络可视化的动图给大家动态的展示一下神经网络的训练过程：
第一讲的内容到这里就结束了，在深度学习第一讲中，我们了解了深度学习和机器学习的基本关系和发展历程，对神经网络的理论基础有了更深层次的学习和掌握。咱们下期见！
每一个HTML文档中，都有一个不可或缺的标签：<head>，在几乎所有的HTML文档里， 我们都可以看到类似下面这段代码：
html{color:#000;overflow-y:scroll;overflow:-moz-scrollbars}
body,button,input,select,textarea{font-size:12px;font-family:Arial,sans-serif}
h1,h2,h3,h4,h5,h6{font-size:100%}
em{font-style:normal}
small{font-size:12px}
ol,ul{list-style:none}
a{text-decoration:none}
a:hover{text-decoration:underline}
legend{color:#000}
fieldset,img{border:0}
button,input,select,textarea{font-size:100%}
table{border-collapse:collapse;border-spacing:0}
img{-ms-interpolation-mode:bicubic}
textarea{resize:vertical}
.left{float:left}
.right{float:right}
.overflow{overflow:hidden}
.hide{display:none}
.block{display:block}
.inline{display:inline}
.error{color:red;font-size:12px}
button,label{cursor:pointer}
.clearfix:after{content:'\20';display:block;height:0;clear:both}
.clearfix{zoom:1}
.clear{clear:both;height:0;line-height:0;font-size:0;visibility:hidden;overflow:hidden}
.wordwrap{word-break:break-all;word-wrap:break-word}
.s-yahei{font-family:arial,'Microsoft Yahei','微软雅黑'}
pre.wordwrap{white-space:pre-wrap}
body{text-align:center;background:#fff;width:100%}
body,form{position:relative;z-index:0}
td{text-align:left}
img{border:0}
#s_wrap{position:relative;z-index:0;min-width:1000px}
#wrapper{height:100%}
#head .s-ps-islite{_padding-bottom:370px}
#head_wrapper.s-ps-islite{padding-bottom:370px}#head_wrapper.s-ps-islite #s_lm_wrap{bottom:298px;background:0 0!important;filter:none!important}#head_wrapper.s-ps-islite .s_form{position:relative;z-index:1}#head_wrapper.s-ps-islite .fm{position:absolute;bottom:0}#head_wrapper.s-ps-islite .s-p-top{position:absolute;bottom:40px;width:100%;height:181px}#head_wrapper.s-ps-islite #s_lg_img,#head_wrapper.s-ps-islite#s_lg_img_aging,#head_wrapper.s-ps-islite #s_lg_img_new{position:static;margin:33px auto 0 auto}.s_lm_hide{display:none!important}#head_wrapper.s-down #s_lm_wrap{display:none}.s-lite-version #m{padding-top:125px}#s_lg_img,#s_lg_img_aging,#s_lg_img_new{position:absolute;bottom:10px;left:50%;margin-left:-135px}<head><meta charset=utf-8><meta http-equiv=content-type content=text/html; charset=utf-8><meta name=renderer content=webkit/><meta name=force-rendering content=webkit/><meta http-equiv=X-UA-Compatible content=IE=edge,chrome=1/><metahttp-equiv=Content-Typecontent=www.czjy.cn;charset=gb2312><meta name=viewport content=width=device-width, initial-scale=1.0, minimum-scale=1.0, maximum-scale=1.0, user-scalable=no></head>.s-ps-sug table{width:100%;background:#fff;cursor:default}.s-ps-sug td{color:#000;font:14px arial;height:25px;line-height:25px;padding:0 8px}.s-ps-sug td b{color:#000}.s-ps-sug .mo{background:#ebebeb;cursor:pointer}.s-ps-sug .ml{background:#fff}.s-ps-sug td.sug_storage{color:#7a77c8}.s-ps-sug td.sug_storage b{color:#7a77c8}.s-ps-sug .sug_del{font-size:12px;color:#666;text-decoration:underline;float:right;cursor:pointer;display:none}.s-ps-sug .sug_del{font-size:12px;color:#666;text-decoration:underline;float:right;cursor:pointer;display:none}.s-ps-sug .mo .sug_del{display:block}
.s-ps-sug .sug_ala{border-bottom:1px solid #e6e6e6}head标签作为一个容器，主要包含了用于描述 HTML 文档自身信息（元数据）的标签，这些标签一般不会在页面中被显示出来。
智能推荐
MATLAB的GUI 程序设计_制作一个曲面光照效果的演示界面,如图所示,三个弹出式菜单分别用于选择曲面形式、-程序员宅基地
文章浏览阅读7.2k次，点赞7次，收藏60次。第七章 MATLAB的GUI 程序设计Chapter 8: Design of MATLAB of GUI programGUI(Graphical User Interfaces):由各种图形对象组成的用户界面，在这种用户界面下，用户的命令和对程序的控制是通过“选择”各种图形对象来实现的。目前90%以上的应用程序和软件都是在GUI下运行的。MATLAB有两种GUI用户界面控件的创建方式，基于命令行的方式用程序来制作和基于GUI的方式制作。这里主要介绍基于GUI的方式。MATLAB 的._制作一个曲面光照效果的演示界面,如图所示,三个弹出式菜单分别用于选择曲面形式、
MT7628开发环境搭建_undefined reference to `llseek-程序员宅基地
文章浏览阅读2.1k次。参考openwrt 快速入门1.环境搭建1.1Ubuntu dockerhttps://www.runoob.com/docker/ubuntu-docker-install.html1.1.1使用官方安装脚本自动安装安装命令如下：curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyunps: 我已经放弃用deepin编译旧版openwrt ，修复了十几个bug还是有bug，无敌下载14.04版本docke_undefined reference to `llseek
13 Kubectl命令概览_kube_ps1关闭-程序员宅基地
文章浏览阅读81次。kubectx：用于切换kubernetes context kube-ps1：为命令行终端增加$PROMPT字段 kube-shell：交互式带命令提示的kubectl终端kube-shell开源项目kube-shell可以为kubectl提供自动的命令提示和补全，使用起来特别方便，推荐给大家。Kube-shell有以下特性：命令提示，给出命令的使用说明 自动补全，列出可选命令并可以通过tab键自动补全，支持模糊搜索 高亮 使用tab键可以列出可选的对象 vim模式M..._kube_ps1关闭
ensp各种报错积累（以及解决方法）_ensp配置路由地址时错误-程序员宅基地
文章浏览阅读1k次，点赞11次，收藏9次。此报错的意思是请续订默认配置，就是让你去一级一级的删除，首先删除你设置的允许vlan通过的命令，然后去取消掉更改的端口类型命令（就是在配置命令前面加一个undo），再去更改端口类型就成功了。此报错的意思是已经加入了接口，不能在修改模式，所以需要先去把端口全部删除，在修改模式即可成功。他的意思就是说这个IP地址已经配置了，不需要在配置了。2.修改链路聚合模式的时候。3.更改IP地址的时候。_ensp配置路由地址时错误
经典JS-序列号_ucfp:74a28a8b-b3fb-4602-ca5f-0ebdf880c1ff-16927960-程序员宅基地
文章浏览阅读10w+次。3D0E1D4E75686FA0FF1C6F6F626F6F6F6F6F6F6F8F381B2FFF2D6FEF396F6F6A1B6E6F6D762B39E3021B282C725C726F4F6F6F6F5F5F5C330E1F06251C335B5E0D580E5E095D575B0E56560B5F0B41051C6F9F4FCC60636EBE7FBE7A3E637EB613394327_ucfp:74a28a8b-b3fb-4602-ca5f-0ebdf880c1ff-1692796091560
Linux下使用crontab定时任务进行Tomcat日志分割_crontab多个任务如何分割-程序员宅基地
文章浏览阅读722次。Linux下使用crontab定时任务进行Tomcat日志分割_crontab多个任务如何分割
随便推点
当mysql数据库转换为sqlserver数据库时常见报错_mysql 数据导出在sqlserver不能用-程序员宅基地
文章浏览阅读527次。↵下面是我在把mysql数据库转换为sqlserver数据库时候遇到过的一些错，踩过的坑，把它总结下来防止以后再出错。报错 1：com.microsoft.sqlserver.jdbc.SQLServerException: 仅当使用了列列表并且 IDENTITY_INSERT 为 ON 时，才能为表'user_student'中的标识列指定显式值。出错原因：当mysql数据库转换为sqlserver数据库时，如果第一个id设置为自动递增，那么String sql = "..._mysql 数据导出在sqlserver不能用
LeetCode 刷题常用数据结构（Java 中的实现）_javalist集合map组合刷题 leetcode-程序员宅基地
文章浏览阅读1.9k次，点赞4次，收藏27次。记录常用数据结构（栈、队列、数组、列表、字符串、集合等），在 Java 中如何使用它的实现类。_javalist集合map组合刷题 leetcode
Visual Studio Code 设置成中文_visualstudiocode中文-程序员宅基地
文章浏览阅读6.7k次，点赞5次，收藏4次。Visual Studio Code 编辑器设置成中文 分2个步骤1、【查看】--【扩展】（Ctrl+Shift+X） 在扩展：商店中输入Chinese，搜索到 适用于 VS Code 的中文（简体）语言包，点击安装； 2、Ctrl+Shift+P，调出搜索框，输入 Configure Display Language，选中此配置项； 把配置页面中的"..._visualstudiocode中文
[TypeScript][JavaScript]数组遍历方法总结_typescript 数组遍历-程序员宅基地
文章浏览阅读1.2k次。本文整理自：https://developer.mozilla.org/zh-CN/docs/Web/JavaScript/Reference/Global_Objects/Array对比every(),some(),includes(),indexOf(),lastIndexOf(),find(),findIndex(),forEach(),map(),filter(),fill()..._typescript 数组遍历
MySQL数据库的基本概念与安装-程序员宅基地
文章浏览阅读1.2k次，点赞26次，收藏23次。数据库作为一种系统化的数据存储、管理和检索的软件，已成为我们日常生活和工作中不可或缺的一部分，无论是电子商务网站、社交媒体平台，还是企业内部的各种信息系统，背后都有数据库的身影
正则化的作用以及L1和L2正则化的区别_l1l2正则化原理和区别-程序员宅基地
文章浏览阅读3.5w次，点赞103次，收藏505次。0 正则化的作用正则化的主要作用是防止过拟合，对模型添加正则化项可以限制模型的复杂度，使得模型在复杂度和性能达到平衡。常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归。但是使用正则化来防止过拟合的原理是什么？L1和L..._l1l2正则化原理和区别